[論文レビュー] Moment Matching for Multi-Source Domain Adaptation

Xingchao Peng, Qinxun Bai+4 more|arXiv (Cornell University)|Dec 4, 2018

Domain Adaptation and Few-Shot Learning参考文献 50被引用数 48

ひとこと要約

M3SDAを導入し、複数のラベル付きソースドメインからラベルなしターゲットドメインへ知識を転移するモーメントマッチング手法で、大規模なDomainNetのマルチソースドメイン適応データセットを提供する。

ABSTRACT

Conventional unsupervised domain adaptation (UDA) assumes that training data are sampled from a single domain. This neglects the more practical scenario where training data are collected from multiple sources, requiring multi-source domain adaptation. We make three major contributions towards addressing this problem. First, we collect and annotate by far the largest UDA dataset, called DomainNet, which contains six domains and about 0.6 million images distributed among 345 categories, addressing the gap in data availability for multi-source UDA research. Second, we propose a new deep learning approach, Moment Matching for Multi-Source Domain Adaptation M3SDA, which aims to transfer knowledge learned from multiple labeled source domains to an unlabeled target domain by dynamically aligning moments of their feature distributions. Third, we provide new theoretical insights specifically for moment matching approaches in both single and multiple source domain adaptation. Extensive experiments are conducted to demonstrate the power of our new dataset in benchmarking state-of-the-art multi-source domain adaptation methods, as well as the advantage of our proposed model. Dataset and Code are available at \url{http://ai.bu.edu/M3SDA/}.

研究の動機と目的

• 自己教師付きドメイン適応の実用的な拡張として、マルチソースドメイン適応(MSDA)を動機づける。
• 6つのドメインと345カテゴリを含む大規模なMSDAベンチマークデータセット（DomainNet）を提供する。
• すべてのソースドメインとターゲットドメインの分布モーメントを整列させる深層学習モデル(M3SDA)を提案する。
• MSDAおよび単一ソース設定におけるモーメントベースのドメイン分散の理論的洞察を提供する。
• 複数のベンチマークで最先端のベースラインに対するM3SDAの実証的改善を示す。

提案手法

• モーメント距離MD^2を定義し、すべてのソースドメインとターゲットドメイン間の一階・二階モーメントの差を測る（式1）。
• 特徴抽出器GとN個の分類器を訓練し、それぞれソース損失とD_SとD_T間の加重モーメント整合項を最小化する（式2）。
• M3SDA-βを導入し、分類器ペアとディスクリパシーベースの手法に触発された三段階訓練手順を用いてp(y|x)とp(x)を整列させる（式3と式4）。
• アンサンブル/テスト方式(M3SDA*)を用い、分類器出力を平均するかソース-ターゲットの近さに基づく重みベクトル(acc_i)を計算して重み付きアンサンブルを形成する。
• 定理1を提供し、ターゲット誤差が各ソースとターゲット間のクロスモーメント距離d_CM^kに依存することを示す理論的境界。

実験結果

リサーチクエスチョン

• RQ1 複数のソースドメイン間でモーメントをターゲットドメインに整列させることは、単一ソースや他のMSDA手法と比べてMSDAの性能を向上させるのか？
• RQ2 DomainNetのような大規模で複数ドメインのデータセット、およびOffice-Caltech10やデジタルデータセットなどの標準ベンチマークでモーメントベースのMSDAはどう機能するのか？
• RQ3 MSDAにおけるモーメント整合アプローチに対してどのような理論的保証が得られ、それがソース-ターゲットおよびソース-ソースの発散とどう関係するのか？
• RQ4 M3SDA-βでソース間を互いに整列させることは、MSDAタスクで標準のM3SDAより実質的な利得をもたらすのか？

主な発見

• M3SDAとM3SDA-βは、デジタルデータとOffice-Caltech10のベンチマークでベースラインを大きく上回る強い改善を達成している（例えば平均精度が他の手法を上回るなど）。
• DigitsではM3SDAが平均86.13%、M3SDA-βが87.65%を達成し、いくつかのベースラインを上回る。
• Office-Caltech10では、M3SDAが平均96.1%、M3SDA-βが96.4%に達した。
• DomainNetでは、30のソース-ターゲット組み合わせと複数のベースラインに対してM3SDAとM3SDA-βが競争力のある性能を示し、データセットの難易度と手法の有効性を反映している。
• 理論分析はクロスモーメント発散をMSDAへ拡張し、ターゲット誤差をソースとターゲット間のモーメントベースの差異に結びつける。