[論文レビュー] Multi-source Attention for Unsupervised Domain Adaptation

Xia Cui, Danushka Bollegala|arXiv (Cornell University)|Apr 14, 2020

Domain Adaptation and Few-Shot Learning参考文献 41被引用数 5

ひとこと要約

本論文は、複数のソースドメインにおけるインスタンス固有の注目重みを学習することで、ターゲットドメイン分類を向上させるマルチソース非教師ありドメイン適応手法を提案する。自己学習による仮ラベル付けと学習された類似度マップを活用することで、各ターゲットインスタンスに対して関連するソースインスタンスを動的に選択し、敵対的訓練やルールベースのラベル付けを必要とせず、クロスドメインセンチメント分類ベンチマークで最先端の性能を達成する。

ABSTRACT

Domain adaptation considers the problem of generalising a model learnt using data from a particular source domain to a different target domain. Often it is difficult to find a suitable single source to adapt from, and one must consider multiple sources. Using an unrelated source can result in sub-optimal performance, known as the \emph{negative transfer}. However, it is challenging to select the appropriate source(s) for classifying a given target instance in multi-source unsupervised domain adaptation (UDA). We model source-selection as an attention-learning problem, where we learn attention over sources for a given target instance. For this purpose, we first independently learn source-specific classification models, and a relatedness map between sources and target domains using pseudo-labelled target domain instances. Next, we learn attention-weights over the sources for aggregating the predictions of the source-specific models. Experimental results on cross-domain sentiment classification benchmarks show that the proposed method outperforms prior proposals in multi-source UDA.

研究の動機と目的

• 特定のターゲットインスタンスに対して最適なソースが1つに限られない場合に生じるネガティブトランスファーの課題に対処すること。
• 共有ピボットやグローバルなインスタンスプーリングが効果を発揮しないマルチソース設定において、ピボットベースおよびインスタンスベース手法の限界を克服すること。
• 各ターゲットインスタンスに対して複数のソースドメインにわたる注目重みを適応的に割り当て、関連性に基づいて動的ソース選択を可能にする手法を開発すること。
• ルールベースのインスタンスラベリングや敵対的訓練を必要とせず、先行手法で一般的に用いられる手法を排除すること。
• 最も関連するソースインスタンスとその寄与度を特定することで、予測に対する解釈可能な証拠を提供すること。

提案手法

• 各ソースドメインで独立して、ソース固有の分類モデルを訓練する。
• 仮ラベルが付与されたターゲットデータを用いて、ターゲットインスタンスとソースドメインインスタンスの間の類似度マップを学習し、類似度を測定する。
• 仮ラベル付けを用いた自己学習ループを適用し、ターゲットインスタンスの予測を改善することでモデルの信頼性を高める。
• ターゲットインスタンスに対する関連性に基づいてソース予測を重みづけする微分可能注目機構を用いて、インスタンス固有のソースドメインへの注目重みを学習する。
• 学習された注目重みに基づいて、ソースモデルの予測を集約し、最終的なターゲット予測を生成する。
• 類似度計算において、マルチ距離やバンドイットベースの手法と比較して単純かつ効率的な1つの距離測定（sim_only）を用いる。

実験結果

リサーチクエスチョン

• RQ1 注目機構は、マルチソース非教師ありドメイン適応において、動的でインスタンス固有のソース選択を効果的に学習できるか？
• RQ2 敵対的およびルールベースの仮ラベル付け手法と比較して、本手法の正確性と頑健性はどのように異なるか？
• RQ3 注目機構は、特定のターゲットインスタンスに対して、最も関連するソースインスタンスをどの程度正確に同定・優先できるか？
• RQ4 自己学習と仮ラベル付けパイプラインを複数のソースに注目させる仕組みと組み合わせることで、性能が向上するか？
• RQ5 本手法は、キーポイントとなるソースインスタンスとその寄与度を強調することで、予測に対する解釈可能な証拠を提供できるか？

主な発見

• 本手法はChen2012ベンチマークで最先端の性能を達成し、ターゲットドメインKにおけるテスト精度が87.48%に達し、先行するマルチソースUDA手法を上回った。
• 注目機構は、個々のターゲットインスタンスに対して最も関連するソースドメインを的確に同定した。ドメイン注目スコアは、適切なソースの選択において高い信頼性を示した。
• ドメインBのネガティブなターゲットインスタンスに対して、モデルはドメインEの「Serious problem.」を最高寄与源として特定し、スコア0.16943を記録した。これは解釈可能性を示している。
• ドメインDでは、ベースライン（79.46%）、自己学習（79.60%）、仮ラベル付け（79.57%）、注目（82.96%）の各段階で一貫した改善が見られた。
• 類似度マップと注目重みが連携して、インスタンス固有のソース選択を可能にした。ポジティブなターゲットインスタンスはポジティブなソースインスタンスに多く依存し、逆にネガティブなインスタンスはネガティブなソースインスタンスに多く依存した。
• ピボットベースおよびインスタンスベースのベースラインを上回り、トップ5のソースインスタンスの検索を通じて明確で根拠に基づいた予測の理由を提供した。