[論文レビュー] Learning to Match Distributions for Domain Adaptation

Chaohui Yu, Jindong Wang+6 more|arXiv (Cornell University)|Jul 17, 2020

Domain Adaptation and Few-Shot Learning参考文献 64被引用数 6

ひとこと要約

本稿では、メタネットワークを用いてデータ駆動で分布マッチング損失を自動的に学習する、データ駆動型ドメイン適応フレームワークであるLearning to Match (L2M) を提案する。MMD や敵対的損失のような手作業で設計された距離に依存することなく、これにより、手作業で設計された距離に起因するバイアスを排除する。L2M はタスクに依存しない特徴量と人間が設計した特徴量を統合し、公開データセットで最先端の性能を達成しており、COVID-19 X線分類におけるクロスドメイン分類およびMNISTにおける画像生成の両面で優れた結果を示している。

ABSTRACT

When the training and test data are from different distributions, domain adaptation is needed to reduce dataset bias to improve the model's generalization ability. Since it is difficult to directly match the cross-domain joint distributions, existing methods tend to reduce the marginal or conditional distribution divergence using predefined distances such as MMD and adversarial-based discrepancies. However, it remains challenging to determine which method is suitable for a given application since they are built with certain priors or bias. Thus they may fail to uncover the underlying relationship between transferable features and joint distributions. This paper proposes Learning to Match (L2M) to automatically learn the cross-domain distribution matching without relying on hand-crafted priors on the matching loss. Instead, L2M reduces the inductive bias by using a meta-network to learn the distribution matching loss in a data-driven way. L2M is a general framework that unifies task-independent and human-designed matching features. We design a novel optimization algorithm for this challenging objective with self-supervised label propagation. Experiments on public datasets substantiate the superiority of L2M over SOTA methods. Moreover, we apply L2M to transfer from pneumonia to COVID-19 chest X-ray images with remarkable performance. L2M can also be extended in other distribution matching applications where we show in a trial experiment that L2M generates more realistic and sharper MNIST samples.

研究の動機と目的

• MMD や敵対的距離のような手作業で設計された偏りのある分布マッチング損失に依存する既存のドメイン適応手法の限界を解消すること。
• メタネットワークを用いてデータから損失関数をエンドツーエンドで学習することで、分布マッチングにおけるインダクティブバイアスを低減すること。
• 深層特徴量と人間が設計した特徴量（例：MMD、敵対的）を統合した、一貫性があり汎用性の高いフレームワークを構築すること。
• 医療画像（例：肺炎からCOVID-19 X線）のような低リソース、不均衡、現実世界のシナリオにおける強力なドメイン適応を可能にすること。
• 生成モデリングを含む他の分布マッチング応用分野へのフレームワークの拡張すること。

提案手法

• L2M はメタネットワーク（多層パーセプトロン）を用いて、データ駆動的に分布マッチング損失を学習し、汎用関数近似器として機能する。
• フレームワークは、タスクに依存しない特徴量（例：深層特徴量）と人間が設計した特徴量（例：MMD、敵対的差異）をメタネットワークの入力として統合する。
• 教師データのラベルが存在しない状況においても、メタデータを生成・更新するための新しい自己教師型ラベル伝搬戦略を採用する。
• 教師ラベルが欠如しているにもかかわらず、安定かつ正確な性能を実現するため、オンライン最適化アルゴリズムを提案する。
• メタ学習によるマッチング損失と標準的な分類およびドメイン整合性の目的関数を組み合わせた損失関数を用いて学習を行う。
• GMMN における標準的なMMD損失をL2Mによるマッチング損失に置き換えることで、画像生成への応用を拡張し、サンプルの質を向上させた。

実験結果

リサーチクエスチョン

• RQ1 データ駆動型でメタ学習された損失関数は、MMD や敵対的距離のような事前に定義された分布マッチング損失を上回ることができるか？
• RQ2 固定された事前分布に依存する従来手法と比較して、L2M はどの程度インダクティブバイアスを低減するか？
• RQ3 L2M は、不均衡やデータが乏しい状況（例：医療画像）のような多様なドメインシフトシナリオにどの程度一般化できるか？
• RQ4 L2M は画像生成のような他の分布マッチングタスクに効果的に転用可能か？
• RQ5 学習されたマッチング損失は、条件付き生成においてよりシャープで現実的であるサンプルを生成するか？

主な発見

• L2M は公開ドメイン適応ベンチマークで最先端の性能を達成し、DANN や MCD、CDAN+TransNorm などの手法を上回った。
• 肺炎からCOVID-19 X線への適応タスクにおいて、L2M はF1スコア74.0%を達成し、CDAN+TransNorm（63.7%）および DANN（66.2%）を大きく上回った。
• 不均衡な状況でもL2M は頑健性を示し、同じタスクでMCD（61.5%）とDANN（66.2%）と比較してF1スコア74.0%を達成した。
• アブレーションスタディの結果、複数のマッチング特徴量（例：埋め込み + MMD、出力確率 + 敵対的）を組み合わせることが最良の性能をもたらし、L2M（出力確率 + MMD）はF1スコア74.0%を達成した。
• 画像生成の分野では、L2M は標準的なMMDベースのGMMNよりもシャープで現実的であるMNISTのサンプルを生成したことが、定性的なサンプルで確認された。
• このフレームワークは汎用性があり、半教師あり設定への応用も可能であり、今後の研究における可能性を示唆している。