[論文レビュー] Meta-DMoE: Adapting to Domain Shift by Meta-Distillation from Mixture-of-Experts

Zhong Tao, Zhixiang Chi+4 more|arXiv (Cornell University)|Oct 8, 2022

Domain Adaptation and Few-Shot Learning被引用数 16

ひとこと要約

Meta-DMoE は、複数のソースドメインからのドメイン特化型知識を蒸留するために、Mixture-of-Experts (MoE) ティーチャーを用いる、新しい教師付きテスト時適応フレームワークを提案する。メタ学習されたトランスフォーマー型アグリゲーターを用いてエキスパート知識を統合し、テスト時における迅速な適応を実現するメタトレーニングされた学生ネットワークを採用することで、複数のベンチマークで最先端の性能を達成し、一般化性と柔軟性を向上させながらドメインシフトに対処する点で、先行手法を上回る。

ABSTRACT

In this paper, we tackle the problem of domain shift. Most existing methods perform training on multiple source domains using a single model, and the same trained model is used on all unseen target domains. Such solutions are sub-optimal as each target domain exhibits its own specialty, which is not adapted. Furthermore, expecting single-model training to learn extensive knowledge from multiple source domains is counterintuitive. The model is more biased toward learning only domain-invariant features and may result in negative knowledge transfer. In this work, we propose a novel framework for unsupervised test-time adaptation, which is formulated as a knowledge distillation process to address domain shift. Specifically, we incorporate Mixture-of-Experts (MoE) as teachers, where each expert is separately trained on different source domains to maximize their specialty. Given a test-time target domain, a small set of unlabeled data is sampled to query the knowledge from MoE. As the source domains are correlated to the target domains, a transformer-based aggregator then combines the domain knowledge by examining the interconnection among them. The output is treated as a supervision signal to adapt a student prediction network toward the target domain. We further employ meta-learning to enforce the aggregator to distill positive knowledge and the student network to achieve fast adaptation. Extensive experiments demonstrate that the proposed method outperforms the state-of-the-art and validates the effectiveness of each proposed component. Our code is available at https://github.com/n3il666/Meta-DMoE.

研究の動機と目的

• テストデータの分布がトレーニングデータと異なる実世界の展開環境におけるドメインシフトに対処すること。
• マルチソースドメイン適応における単一モデルの一般化の限界を克服し、ドメイン不変特徴の偏りのある学習を避けること。
• ソースドメインデータへのアクセスを一切不要としつつ、ラベルなしのターゲットデータのみを用いてテスト時における迅速かつ効果的な適応を可能にすること。
• ドメイン特化型エキスパートとメタラーニングを活用して、効率的な知識蒸留を実現することで、モデルの一般化性とロバスト性を向上させること。

提案手法

• フレームワークは、各エキスパートが別々のソースドメインで事前学習されることで、ドメイン特化型知識を最大化する Mixture-of-Experts (MoE) の構成を採用する。
• テスト時、ラベルなしのターゲットサンプルの少数が、事前学習済みの MoE エキスパートからの特徴を照会するために使用される。
• トランスフォーマー型アグリゲーターがエキスパート出力間の相互接続性を分析し、ドメイン特化型知識を統合された監視信号に統合する。
• 学生ネットワークは、アグリゲートされた知識を用いて、少数のサンプルから迅速にターゲットドメインに適応できるようメタトレーニングされる。二段階最適化により、迅速な適応が保証される。
• 知識蒸留は、最終出力（ログチ）だけでなく中間特徴に対しても適用され、より豊富な監視信号と改善された特徴アライメントが可能になる。
• トレーニングプロセスは、テスト時の分布外シナリオを模擬することで、トレーニング目的を実際の評価プロトコルに一致させる。

実験結果

リサーチクエスチョン

• RQ1 マルチソースドメインシフト環境において、マルチエキスパートティーチャーフレームワークは、単一モデルアプローチと比較して適応性能を向上させることができるか？
• RQ2 メタ学習されたアグリゲーターは、複数のドメイン特化型エキスパートからの知識をどれほど効果的に統合し、迅速な適応を導けるか？
• RQ3 最終出力（ログチ）だけでなく中間特徴に対しても知識蒸留を適用することで、テスト時適応における一般化性能が向上するか？
• RQ4 メタラーニングは、少数のターゲットサンプルから迅速に適応できる学生ネットワークの能力をどのように向上させるか？
• RQ5 データプライバシーと計算効率という実世界の制約下でも、このフレームワークは高い性能を維持できるか？

主な発見

• Meta-DMoE は4つのベンチマークデータセットで最先端の性能を達成し、アグリゲーターと学生ネットワークの両方がメタトレーニングされた状態で、テスト精度が 77.2%、マクロF1が 34.0% を記録した。
• トランスフォーマー型アグリゲーターは、手動設計の演算子（例：max/平均プーリング）やMLPベースの手法を上回り、77.2% の精度と34.0% のマクロF1を達成した。
• 中間特徴へのみ知識蒸留を適用した場合、ログチへのみ蒸留する場合や両者を併用する場合と比較して、より優れた一般化性能を示した。中間特徴のみの蒸留では77.2%の精度と34.0%のマクロF1を達成したのに対し、ログチのみの蒸留では72.1%と26.4%であった。
• メタラーニングのトレーニング方式は、適応性能を顕著に向上させた。メタトレーニングされた学生とアグリゲーターの組み合わせは77.2%の精度を達成したが、ランダム初期化では32.7%にとどまった。
• 制約下の環境でも頑健である。生のソースデータへのアクセスを一切不要とし、適応後はMoEモデルを破棄することで、効率的な推論が可能になった。