[論文レビュー] Multi-source Domain Adaptation via Weighted Joint Distributions Optimal Transport

Rosanna Turrisi, Rémi Flamary+2 more|arXiv (Cornell University)|Jun 23, 2020

Domain Adaptation and Few-Shot Learning参考文献 36被引用数 8

ひとこと要約

本稿では、特徴空間およびラベル空間における類似性に基づいて、同時に複数のソースドメインとターゲットドメインをアライメントし、適応的ソース重みを学習する重み付き結合分布最適輸送を活用する、新しいマルチソースドメイン変換手法MSDA-WJDOTを提案する。本手法は、不変性を強制するのではなく、ソース分布の多様性を活用することで、シミュレート済みおよび実世界のベンチマークにおいて、優れたロバスト性と解釈可能性を備えた最先端の性能を達成する。

ABSTRACT

The problem of domain adaptation on an unlabeled target dataset using knowledge from multiple labelled source datasets is becoming increasingly important. A key challenge is to design an approach that overcomes the covariate and target shift both among the sources, and between the source and target domains. In this paper, we address this problem from a new perspective: instead of looking for a latent representation invariant between source and target domains, we exploit the diversity of source distributions by tuning their weights to the target task at hand. Our method, named Weighted Joint Distribution Optimal Transport (WJDOT), aims at finding simultaneously an Optimal Transport-based alignment between the source and target distributions and a re-weighting of the sources distributions. We discuss the theoretical aspects of the method and propose a conceptually simple algorithm. Numerical experiments indicate that the proposed method achieves state-of-the-art performance on simulated and real-life datasets.

研究の動機と目的

• ドメイン間で特徴の不変性を強制する従来のドメイン変換手法の限界に対処すること。特に、ソース分布が多様であるか回転している場合に失敗する可能性があること。
• 単一の不変表現に統合するのではなく、複数のソースドメインの多様性を活用する手法の開発。
• 最適輸送と結合分布アライメントを用いた理論的裏付けのあるマルチソースドメイン変換のアプローチの構築。
• 埋め込み関数とソース重みを同時に最適化することで、ターゲットドメインの特性に応じた関連するソースの動的選択を可能にすること。
• ドメインシフトおよびターゲットシフト問題における汎化性能とロバスト性の向上、特にデータが少ない状況での性能向上。

提案手法

• 本手法は、ターゲット分布とソース結合分布の凸結合との間の最適輸送を最適化する問題としてマルチソースドメイン変換を定式化する。
• 訓練中に学習される重みを備えたソース結合分布の重み付き和を導入し、各ソースがターゲットドメインに対してどの程度関連しているかを反映する。
• コアとなる最適化は、推定されたターゲット結合分布と重み付きソース結合分布の間のワルサーゲン距離を最小化することに焦点を当てる。
• 埋め込み関数 $g$ とソース重み $\boldsymbol{\alpha}$ を同時に最適化することで、特徴空間およびラベル空間における類似性に基づいて、モデルが適応的にソースを選択できるようにする。
• 勾配ベース最適化によるエンドツーエンド学習を可能にするために、微分可能な最適輸送層を用いて輸送コストを計算する。
• 特徴とラベルの両方の結合分布をモデル化することで、ドメインシフトおよびターゲットシフトの両方のシナリオをサポートする。

実験結果

リサーチクエスチョン

• RQ1 明示的にソース分布の多様性をモデル化するマルチソースドメイン変換手法が、特徴の不変性を強制する手法を上回る性能を発揮できるか？
• RQ2 最適輸送を用いて、同時にソースとターゲットの結合分布をアライメントし、ソース重みを学習する方法は何か？
• RQ3 ターゲット分布とソース結合分布の重み付き和との間のワルサーゲン距離を最小化する手法の理論的一般化バウンディングは何か？
• RQ4 埋め込み関数とソース重みを同時に最適化することで、データが少ない状況や高シフト状況におけるロバスト性と性能が向上するか？
• RQ5 学習されたソース重みは、実世界の応用においてドメインの関連性を解釈可能に測定するのにどのように寄与するか？

主な発見

• MSDA-WJDOT MTLは、音楽・スピーチ識別タスクにおける4つのターゲットドメインで平均順位2.25を達成し、ターゲットラベルのアクセスがある他のすべての手法を大きく上回った。
• D（Destroyerengine）データセットでは、テスト精度が99.67% ± 1.63を達成し、挑戦的な実世界の適応問題において優れた性能を示した。
• MSDA-WJDOT MTLは、例えばF16での標準偏差が4.15%と低く、小規模なサンプルサイズやデータのばらつきに対して高いロバスト性を示した。
• ターゲットラベルのアクセスがある「Target」と「Baseline+Target」のベースライン手法でさえも、本手法に劣った。これは、ゼロショット適応において本手法の有効性を示している。
• 学習されたソース重みは、特徴空間およびラベル空間においてターゲットに最も類似したソースに高い重みが割り当てられるなど、ドメイン関連性の解釈可能な測定値を提供した。
• アブレーションスタディにより、埋め込み関数と重みの同時学習（MSDA-WJDOT MTL）が事前学習済み埋め込みよりも顕著に性能向上をもたらしたことが確認され、エンドツーエンド最適化の利点が裏付けられた。