[論文レビュー] Graph-Relational Domain Adaptation

Zihao Xu, Hao he+3 more|arXiv (Cornell University)|Feb 8, 2022

Domain Adaptation and Few-Shot Learning被引用数 9

ひとこと要約

本稿では、ドメイン間の関係をモデル化するドメイングラフを用いることで、均一なアライメントに代えてグラフ構造に基づくアライメントを実現する、新しい敵対的ドメイン適応手法であるGraph-Relational Domain Adaptation (GRDA)を提案する。グラフ判別器を導入し、符号化された特徴からドメイングラフを再構築することで、柔軟でトポロジーに配慮したドメインアライメントを実現し、DG-15、TPT-48、CompCarsを含む合成的および実世界のベンチマークで最先端の手法を上回る性能を達成する。

ABSTRACT

Existing domain adaptation methods tend to treat every domain equally and align them all perfectly. Such uniform alignment ignores topological structures among different domains; therefore it may be beneficial for nearby domains, but not necessarily for distant domains. In this work, we relax such uniform alignment by using a domain graph to encode domain adjacency, e.g., a graph of states in the US with each state as a domain and each edge indicating adjacency, thereby allowing domains to align flexibly based on the graph structure. We generalize the existing adversarial learning framework with a novel graph discriminator using encoding-conditioned graph embeddings. Theoretical analysis shows that at equilibrium, our method recovers classic domain adaptation when the graph is a clique, and achieves non-trivial alignment for other types of graphs. Empirical results show that our approach successfully generalizes uniform alignment, naturally incorporates domain information represented by graphs, and improves upon existing domain adaptation methods on both synthetic and real-world datasets. Code will soon be available at https://github.com/Wang-ML-Lab/GRDA.

研究の動機と目的

• 既存のドメイン適応手法が、ドメイン間の構造的関係を無視しても均一なアライメントを強制するという限界に対処すること。
• ノードがドメインを表し、エッジが隣接性や類似性（例えば地理的近接性や意味的類似性）を表すグラフを用いてドメイン関係をモデル化すること。
• 均一なアライメントを強制するのではなく、ドメイングラフのトポロジーに応じてアライメント戦略を適応させる汎用的な敵対的ドメイン適応フレームワークを開発すること。
• 理論的に、ドメイングラフが完全グラフ（クリーク）である場合にGRDAが古典的ドメイン適応を回復することを示し、他のグラフタイプでは非自明でトポロジーに配慮したアライメントを達成できることを示すこと。
• 実験的に、合成的および実世界の設定においてドメイングラフ構造を活用することで、SOTA手法を上回る性能向上が達成されることを検証すること。

提案手法

• 敵対的ドメイン適応における標準的な二値または多クラス判別器を、符号化された特徴からドメイングラフを再構築するグラフ判別器に置き換える。
• 符号化条件付きのグラフ埋め込みを用いて、判別器がドメインの符号化表現が与えられたドメイングラフ構造と整合しているかどうかを評価できるようにする。
• エンコーダーと判別器を、ドメイン不変特徴をドメイングラフのトポロジーを尊重する形で学習するように、敵対的目的関数に基づいて同時に訓練する。
• グラフ再構築タスクをノード分類またはリンク予測問題として定式化し、判別器がドメイン埋め込み間のエッジを予測する。
• グラフ判別器を標準的なドメイン適応パイプラインに統合し、ニューラルネットワークを用いたエンドツーエンドの訓練を維持する。
• ドメイングラフが完全グラフ（クリーク）である場合にGRDAが標準ドメイン適応に還元されることを保証し、その理論的保証を維持する。

実験結果

リサーチクエスチョン

• RQ1 ドメインアライメントは、均一なアライメントを超えて、ドメイン間のトポロジカル関係を活用することで一般化可能か？
• RQ2 異種ドメイン設定において、グラフ構造に基づくドメイングラフは、均一なアライメントに比べてより効果的かつ柔軟なドメインアライメントを可能にするか？
• RQ3 グラフ判別器は、特徴符号化からドメイングラフを効果的に再構築でき、ドメイン隣接性を尊重したアライメントを強制できるか？
• RQ4 ドメイングラフ構造が既知のデータセットにおいて、GRDAは最先端のドメイン適応手法と比較してどのように性能を発揮するか？
• RQ5 均一なアライメントが失敗する遠隔ドメインにおいても、GRDAは頑健な性能を維持するか？

主な発見

• CompCarsデータセットではGRDAが51.0%の精度を達成し、Source-Only手法に比べ9.68%の向上を示し、DANN、ADDA、CDANN、MDDを含むSOTA手法よりも顕著な向上を示した。
• DG-15データセットでは、GRDAはすべてのターゲットドメインで50%以上の精度を維持している一方、MDDや他のSOTA手法は複数のケースで50%未満に低下しており、ドメインシフトに対して頑健であることが示された。
• TPT-48タスクでは、$E(24)\to W(24)$および$N(24)\to S(24)$の両適応タスクにおいて、すべてのターゲットドメインの平均平均二乗誤差（MSE）が最低となり、DANN、ADDA、CDANN、MDDを上回った。
• TPT-48では、すべてのターゲットドメインレベル（Level-1、Level-2、Level-3）でGRDAが一貫して低いMSEを達成し、安定的で細分化された性能向上が示された。
• 理論的分析により、ドメイングラフがクリークである場合にGRDAが標準ドメイン適応を回復することが確認され、チェーンやスターグラフなどの他のグラフ構造では非自明でトポロジーに配慮したアライメントが可能であることが示された。
• 実験的結果により、GRDAは均一なアライメントを自然に一般化し、ドメイングラフ情報を取り入れ、合成的および実世界の両方のデータセットで性能向上を達成できた。