[論文レビュー] Multi-source Distilling Domain Adaptation

Sicheng Zhao, Guangzhi Wang+8 more|arXiv (Cornell University)|Nov 22, 2019

Domain Adaptation and Few-Shot Learning参考文献 54被引用数 7

ひとこと要約

本稿では、敵対的特徴アライメント、ターゲット類似度に基づく選択的サンプル distillation、およびソース分類器の適応的重み付けを用いて複数のラベル付きソースドメインを活用する、マルチソース・ディスティルィング・ドメインアダプテーション（MDDA）という新しいフレームワークを提案する。MDDAは、Digits-fiveでSOTA手法を3.3%、Office-31で0.4%上回る最先端の性能を達成した。

ABSTRACT

Deep neural networks suffer from performance decay when there is domain shift between the labeled source domain and unlabeled target domain, which motivates the research on domain adaptation (DA). Conventional DA methods usually assume that the labeled data is sampled from a single source distribution. However, in practice, labeled data may be collected from multiple sources, while naive application of the single-source DA algorithms may lead to suboptimal solutions. In this paper, we propose a novel multi-source distilling domain adaptation (MDDA) network, which not only considers the different distances among multiple sources and the target, but also investigates the different similarities of the source samples to the target ones. Specifically, the proposed MDDA includes four stages: (1) pre-train the source classifiers separately using the training data from each source; (2) adversarially map the target into the feature space of each source respectively by minimizing the empirical Wasserstein distance between source and target; (3) select the source training samples that are closer to the target to fine-tune the source classifiers; and (4) classify each encoded target feature by corresponding source classifier, and aggregate different predictions using respective domain weight, which corresponds to the discrepancy between each source and target. Extensive experiments are conducted on public DA benchmarks, and the results demonstrate that the proposed MDDA significantly outperforms the state-of-the-art approaches. Our source code is released at: https://github.com/daoyuan98/MDDA.

研究の動機と目的

• 実世界のシナリオでは、分布が異なる複数のラベル付きソースドメインが存在するが、単一ソースドメインアダプテーションの限界を解消する。
• ターゲットドメインとのドメイン差異に関係なく、すべてのソースを同等に扱うことで生じる性能の劣化を克服する。
• ターゲットドメインに最も類似したソースサンプルを効果的に選択的にdistillationすることで、転送可能性を向上させる。
• 予測集約の過程で関連のあるソースを強調し、関係のないソースを抑制するための適応的重み付け機構を開発する。
• 敵対的ドメインアダプテーションにおける勾配消失を軽減するため、勾配ペナルティを用いた Wasserstein 距離最小化を採用する。

提案手法

• 各ラベル付きソースドメインで個別のソース分類器を事前学習し、識別的特徴学習を保持する。
• ドメイン識別器を用いて、ターゲット特徴を各ソースドメインの特徴空間に敵対的にアライメントさせる。この際、経験的 Wasserstein 距離を最小化する。
• 敵対的類似度スコアに基づき、ターゲット分布に最も近いソース学習サンプルを選別し、ソース分類器のファインチューニングに使用する。
• 各ソースとターゲット間の乖離（Wasserstein 距離）に基づいて算出されるドメイン固有の重みを用いて、すべてのソース分類器の予測を統合する。
• 訓練の安定化と敵対的ドメインアダプテーションにおける勾配消失の防止のため、勾配ペナルティを適用する。
• Grad-CAM 視覚化を用いて、アダプテーション後に判別的オブジェクト領域への注目が向上したことを確認し、モデルの解釈可能性とドメイン不変性を裏付ける。

実験結果

リサーチクエスチョン

• RQ1 ターゲットドメインと著しく異なる分布を示す複数のソースドメインが存在する状況で、マルチソースドメインアダプテーションをどのように改善できるか？
• RQ2 ターゲットとの類似度に基づいてソースサンプルを選択的にdistillationすることで、分類器の一般化性能が向上するか？
• RQ3 ドメイン乖離を考慮した適応的重み付け戦略は、均一またはヒューリスティックな重み付けよりも優れた性能をもたらすか？
• RQ4 Wasserstein 距離と勾配ペナルティを用いた敵対的ドメインアダプテーションは、訓練の安定化と収束性の向上に寄与するか？
• RQ5 提案手法は、ドメイン間で特徴の判別性および関連オブジェクト部の注目をどの程度向上させるか？

主な発見

• MDDAは、Digits-fiveベンチマークにおいてSOTA手法DCTNを平均3.3%上回った。
• Office-31データセットでは、SOTA手法に対して0.4%の性能向上を達成し、多様なドメインシフトに対して一貫した向上を示した。
• ソースdistillationにより、ターゲットと高い乖離を示すソースドメイン（例：'mnist' から 'svhn'）では最大2.5%の性能向上が確認され、選択的サンプル選択の有効性が裏付けられた。
• アブレーションスタディの結果、distillation段階を削除すると、Digits-fiveで平均1.3%、Office-31で1.2%の精度低下が生じ、その貢献度が検証された。
• Grad-CAM 視覚化により、MDDAが判別的オブジェクト部（例：リングバインダー、ラップトップ）への注目を強化していることが確認された。これは、視点変化や背景変化に対しても有効である。
• 提案された重み付け戦略は、不要なソースを効果的に抑制した。例えば、'svhn' をターゲットとした場合、類似度が低いソースは低重み付けされ、全体のロバスト性が向上した。