[論文レビュー] Multi-Source Domain Adaptation with Mixture of Experts

Jiang Guo, Darsh Shah+1 more|arXiv (Cornell University)|Sep 7, 2018

Domain Adaptation and Few-Shot Learning参考文献 33被引用数 4

ひとこと要約

本論文は、非教師ありマルチソースドメイン適応のための混合専門家（MoE）フレームワークを提案する。このフレームワークは、隠れ表現空間におけるマハラノビス距離に基づく学習可能なポイント・ツー・セット距離を用いて、ターゲット例と複数のソースドメインの関係をモデル化する。この距離は教師なしでメタトレーニングにより学習され、ターゲットラベルを必要とせず、安定した性能向上を実現する—アマゾンレビューでは7%の相対誤差削減、SANCL POSタギングでは13%を達成—、不要なソースからの負の転送を効果的に軽減する。

ABSTRACT

We propose a mixture-of-experts approach for unsupervised domain adaptation from multiple sources. The key idea is to explicitly capture the relationship between a target example and different source domains. This relationship, expressed by a point-to-set metric, determines how to combine predictors trained on various domains. The metric is learned in an unsupervised fashion using meta-training. Experimental results on sentiment analysis and part-of-speech tagging demonstrate that our approach consistently outperforms multiple baselines and can robustly handle negative transfer.

研究の動機と目的

• 複数の異種ソースドメインが利用可能な非教師ありマルチソースドメイン適応におけるドメインシフトの課題に対処すること。
• 個々のターゲット例に対して異なるソースドメインの関連性を明示的にモデル化すること、すなわちそれらを一様に扱うのではなく。
• 教師なしで例からドメインへの関係を捉えるポイント・ツー・セット距離を学習することにより、関係のないソースからの負の転送を回避すること。
• 学習された距離から得られるアテンションのような重みを用いて、ドメイン固有のエキスパートを組み合わせることで、適応性能を向上させること。
• 特に、ツイッターのようなノイズの多いまたは関係のないソースドメイン（例：POSタギング）を含めた場合の負の転送に対する頑健性を示すこと。

提案手法

• 各エキスパートが1つのソースドメインで訓練された混合専門家（MoE）アーキテクチャを採用し、予測は重み付き和として結合される。
• 重み（α）は、各ソースドメイン内の例の集合とターゲット例との間の隠れ表現空間におけるマハラノビス距離に基づくポイント・ツー・セット距離によって決定される。
• 距離はメタトレーニング手順により学習される：各メタタスクにおいて、1つのソースがメタターゲットとされ、残りがメタソースとされる。メタターゲットでのMoE損失を最適化することで、モデルと距離の両方を同時に学習する。
• 敵対的訓練を適用して、ソースドメインとターゲットドメインの隠れ表現を一致させ、ドメインシフトを軽減する。
• αに対するエントロピー正則化を適用して、単一のソースへの過剰な自信を防ぎ、一般化性能を向上させる。
• バックプロパゲーションを用いてエンド・ツー・エンドでモデルを訓練するが、ターゲットドメインのラベルデータは一切不要である。

実験結果

リサーチクエスチョン

• RQ1 学習可能な非教師ありポイント・ツー・セット距離が、例固有のソース関連性を捉えることで、マルチソースドメイン適応を改善できるか？
• RQ2 提案されたMoEモデルは、単一ソースおよび統合型マルチソースベースラインと比較して、正確性および頑健性において優れているか？
• RQ3 関係のないまたはノイズの多いソースドメイン（例：ツイッター）が含まれた場合に、モデルは負の転送を効果的に軽減できるか？
• RQ4 ターゲットドメインのアノテーションがなくても、メタトレーニングが効果的な距離学習を可能にするか？
• RQ5 問題のあるソース（例：ツイッター）からのデータ量が増加する際、性能はどの程度安定するか？

主な発見

• アマゾンレビューデータセットでは、提案されたMoEモデルが最良の単一ソースベースラインと比較して7%の相対誤差削減を達成した。
• SANCL POSタギングデータセットでは、MoEモデルが13%の相対誤差削減を達成し、すべてのベースラインを上回った。
• 敵対的訓練を施したMoE-Aバージョンは、SANCLで平均90.11%の最高精度を達成し、一部の設定ではオリクルに近い統合モデル（uni-MS-A）を上回った。
• モデルは関係のないソースへの注目を効果的に低減した：ターゲットドメイン全体で平均して、ツイッターのα重みは5.3%まで低下し、負の転送の学習的フィルタリングが行われたことが示された。
• ツイッターの訓練インスタンス数が増加するにつれて、統合モデル（uni-MS-A）の性能は劣化したが、MoE-Aモデルは安定的かつ改善傾向を示し、ノイズの多いデータに対して頑健であることが確認された。
• アブレーションスタディにより、エントロピー正則化が非敵対的および敵対的両設定で性能向上に寄与し、モデルの一般化性能を向上させることを確認した。