[論文レビュー] Learning to Combine: Knowledge Aggregation for Multi-Source Domain Adaptation

Hang Wang, Minghao Xu+2 more|arXiv (Cornell University)|Jul 17, 2020

Domain Adaptation and Few-Shot Learning参考文献 51被引用数 9

ひとこと要約

本稿では、クラスプロトタイプに基づいて構築された知識グラフを介して複数のソースドメインからの知識を統合する仕組みを学習する、LtC-MSDAと呼ばれるマルチソースドメイン適応のための新規フレームワークを提案する。グラフ畳み込みネットワークと関係整合性損失（RAL）を統合することで、一貫したカテゴリ関係性と特徴の凝縮性を強制し、ベンチマークデータセットにおいて最先端の性能を達成し、既存の手法と顕著な差を示した。

ABSTRACT

Transferring knowledges learned from multiple source domains to target domain is a more practical and challenging task than conventional single-source domain adaptation. Furthermore, the increase of modalities brings more difficulty in aligning feature distributions among multiple domains. To mitigate these problems, we propose a Learning to Combine for Multi-Source Domain Adaptation (LtC-MSDA) framework via exploring interactions among domains. In the nutshell, a knowledge graph is constructed on the prototypes of various domains to realize the information propagation among semantically adjacent representations. On such basis, a graph model is learned to predict query samples under the guidance of correlated prototypes. In addition, we design a Relation Alignment Loss (RAL) to facilitate the consistency of categories' relational interdependency and the compactness of features, which boosts features' intra-class invariance and inter-class separability. Comprehensive results on public benchmark datasets demonstrate that our approach outperforms existing methods with a remarkable margin. Our code is available at \url{https://github.com/ChrisAllenMing/LtC-MSDA}

研究の動機と目的

• 複数のソースドメインからラベルなしのターゲットドメインへ知識を転送する課題に対処すること。ドメインシフトやモダリティの違いにより、特徴の整合性が複雑になることを想定する。
• 固定または手作業で設計されたソース予測の組み合わせに依存するのではなく、複数のドメイン間での特徴表現同士の相互作用をモデル化することで、モデルの一般化性能を向上させること。
• 複数のドメイン間でカテゴリ間の関係的整合性を強制し、意味的関係（例：トラックは人よりも車に似ている）が潜在空間に保存されることを保証すること。
• プロトタイプの凝縮性とクラス間分離性を同時に最適化することで、特徴の識別性とドメイン不変性を向上させること。

提案手法

• すべてのドメインからのグローバルプロトタイプを用いて知識グラフを構築し、ノード間の接続はプロトタイプの類似度に基づく。
• グラフ畳み込みネットワーク（GCN）を用いて知識グラフを介して表現を伝搬させ、クエリサンプルの予測を実現することで、意味的に関連するドメイン間での情報伝達を可能にする。
• 関係整合性損失（RAL）を導入し、ドメイン間で一貫したカテゴリ関係構造を強制するグローバル項と、プロトタイプ周辺の特徴の凝縮性を促進するローカル項から構成される。
• ミニバッチサンプリングによる推定バイアスを低減するため、移動平均法を用いてグローバルプロトタイプを維持する。
• ソースおよびターゲットドメインにおける分類損失に加え、RAL損失を組み合わせて、エンドツーエンドでモデルを訓練する。
• 推論時においては、知識グラフとGCNのみを用いるため、再訓練なしに効率的な予測が可能になる。

実験結果

リサーチクエスチョン

• RQ1 単純なアンサンブルやソースモデルの平均化と比較して、知識グラフを介した知識集約はマルチソースドメイン適応の性能向上に寄与するか？
• RQ2 複数のソースおよびターゲットドメインにまたがるカテゴリ間の関係的依存性をどのようにモデル化・強制できるか？
• RQ3 プロトタイプの凝縮性とクラス間分離性を同時に最適化することで、ドメインシフト下での一般化性能が向上するか？
• RQ4 損失関数における隣接行列の標準偏差やトレードオフ重みといったハイパーパrameterに、提案手法はどれほど感受性を示すか？

主な発見

• LtC-MSDAはDigits-Fiveベンチマークで最先端の性能を達成し、全ドメイン適応設定において平均正解率91.83%を記録した。
• アブレーションスタディの結果、ソース分類損失、ターゲットエントロピー損失、プロトタイプ分類損失を組み合わせることで、単一のソース監視のみを用いたベースラインと比較して正解率が3.03%向上した。
• 関係整合性損失（RAL）は性能向上に顕著な寄与を示し、グローバル項とローカル項の両方を適用した場合に最良の結果が得られた。
• 感度解析の結果、λ₁ ≈ 20およびλ₂ ≈ 0.001のとき、モデルはハイパーパrameterの選択に対して頑健であるが、これらの値が0に近づくと性能が劣化した。
• 可視化結果から、RALがドメイン間で一貫したカテゴリ関係性を実現し、潜在空間における特徴分布がより整合的かつ識別性が高いことが確認された。
• モデルが学習した隣接行列は、意味的に関連するクラス間（例：車とトラック）で高い類似度スコアを示し、意味的な関係性を的確に反映していた。