[論文レビュー] Supervised Domain Adaptation: Were we doing Graph Embedding all along?

Lukas Hedegaard, Omar Ali Sheikh-Omar+1 more|arXiv (Cornell University)|Apr 23, 2020

Domain Adaptation and Few-Shot Learning被引用数 1

ひとこと要約

この論文は、ドメインラベルを内在的グラフとペナルティグラフの構造的要素としてモデル化することで、教師ありドメイン適応（DA）をグラフ埋め込み問題として再定式化する。DAGEと呼ばれる一般化可能なDAフレームワークを提案し、さまざまなグラフ構造を統合してソースドメインとターゲットドメインを整合化する。また、Office31およびMNIST-USPSにおける再現可能性と一般化評価の向上を図る、より厳密な評価プロトコルを導入する。

ABSTRACT

The performance of machine learning models tends to suffer when the distributions of the training and test data differ. Domain Adaptation is the process of closing the distribution gap between datasets. In this paper, we show that existing Domain Adaptation methods can be formulated as Graph Embedding methods in which the domain labels of samples coming from the source and target domains are incorporated into the structure of the intrinsic and penalty graphs used for the embedding. To this end, we define the underlying intrinsic and penalty graphs for three state-of-the-art supervised domain adaptation methods. In addition, we propose the Domain Adaptation via Graph Embedding (DAGE) method as a general solution for supervised Domain Adaptation, that can be combined with various graph structures for encoding pair-wise relationships between source and target domain data. Moreover, we highlight some generalisation and reproducibility issues related to the experimental setup commonly used to evaluate the performance of Domain Adaptation methods. We propose a new evaluation setup for more accurately assessing and comparing different supervised DA methods, and report experiments on the standard benchmark datasets Office31 and MNIST-USPS.

研究の動機と目的

• トレーニングデータとテストデータの分布が異なる場合に機械学習モデルの性能が低下するのを緩和すること。
• 既存の教師ありドメイン適応手法を統一的なグラフ埋め込みフレームワークで統合すること。
• ソースドメインとターゲットドメインのサンプル間の関係をモデル化するためにグラフ構造を活用する一般用途のドメイン適応手法DAGEを開発すること。
• 標準的なドメイン適応評価設定における一般的な再現可能性と一般化の問題を同定し、それらを是正すること。
• Office31およびMNIST-USPSにおけるDA手法の公平で正確な比較を可能にする新しい評価プロトコルを提案すること。

提案手法

• ドメインラベルを内在的グラフとペナルティグラフの構造に埋め込むことで、既存の最先端の教師ありDA手法をグラフ埋め込み問題として定式化する。
• 3つの代表的なDA手法の背後にある内在的グラフとペナルティグラフを定義し、統一的な理論的枠組みを構築する。
• DAGE（グラフ埋め込みによるドメイン適応）を提案する。これは、ソースドメインとターゲットドメインのサンプル間のペアワイズ関係をモデル化するために、さまざまなグラフ構造を統合する汎用的な手法である。
• 先行研究で一般的に見られる実験設定の欠陥を是正することで、再現性を向上させる新しい評価設定を設計する。
• 標準的なベンチマークデータセットであるOffice31およびMNIST-USPSを用いて、提案手法および評価プロトコルの有効性を検証する。
• ドメインラベルをグラフ構築プロセスにおける構造的制約として統合し、ドメイン間での特徴の整合を促進する。

実験結果

リサーチクエスチョン

• RQ1 既存の教師ありドメイン適応手法は、グラフ埋め込みフレームワークの下で統一可能か？
• RQ2 内在的グラフとペナルティグラフの構造にドメインラベルを効果的に埋め込む方法は何か？ これにより特徴の整合がどのように向上するか？
• RQ3 より厳密な評価プロトコルのもとで、提案されたDAGE手法の性能は最先端のDA手法と比べてどうか？
• RQ4 現在のDA研究における評価設定は、再現性と一般化評価の両面でどの程度の影響を及ぼしているか？
• RQ5 統一的なグラフベースのフレームワークは、ドメイン適応手法の解釈可能性と有効性を向上させられるか？

主な発見

• 既存の教師ありドメイン適応手法は、ドメインラベルが内在的グラフとペナルティグラフの構造に埋め込まれるグラフ埋め込み技術として形式的に解釈可能である。
• 適切なグラフ構造を組み合わせたDAGE手法は、Office31およびMNIST-USPSで競争力ある性能を達成しており、グラフベースのフレームワークの有効性を示している。
• 新しい評価設定により、先行研究の実験設定における顕著な再現性の問題が明らかになった。特に、データ分割とハイパーパrameter選択に関する問題が顕著であった。
• 本研究では、標準的な評価プロトコルが、一貫性のないまたは再現不能な設定によるため、性能推定が楽観的になりがちな傾向があることを示した。
• ドメインラベルをグラフ構造に統合することで、ドメイン間でのより強固で解釈可能な特徴の整合が可能になった。
• Office31およびMNIST-USPSにおける実験結果から、提案されたフレームワークが一般化性能を向上させ、今後のDA研究のためのより信頼性のあるベンチマークを提供することが確認された。