[論文レビュー] Domain Adaptation with Asymmetrically-Relaxed Distribution Alignment

Yifan Wu, Ezra Winston+2 more|arXiv (Cornell University)|Mar 5, 2019

Domain Adaptation and Few-Shot Learning参考文献 23被引用数 58

ひとこと要約

本論文はドメイン適応のための非対称に緩和された分布整合を導入し、正確な分布マッチングをベータ適合距離に置き換えてラベルシフト下で頑健性を維持し、理論と実証結果を提供してターゲット領域の性能向上を示す。

ABSTRACT

Domain adaptation addresses the common problem when the target distribution generating our test data drifts from the source (training) distribution. While absent assumptions, domain adaptation is impossible, strict conditions, e.g. covariate or label shift, enable principled algorithms. Recently-proposed domain-adversarial approaches consist of aligning source and target encodings, often motivating this approach as minimizing two (of three) terms in a theoretical bound on target error. Unfortunately, this minimization can cause arbitrary increases in the third term, e.g. they can break down under shifting label distributions. We propose asymmetrically-relaxed distribution alignment, a new approach that overcomes some limitations of standard domain-adversarial algorithms. Moreover, we characterize precise assumptions under which our algorithm is theoretically principled and demonstrate empirical benefits on both synthetic and real datasets.

研究の動機と目的

• サポートが重ならない可能性がある分布シフト下のドメイン適応を動機づける。
• ターゲットとソース表現間の密度比を上界する緩和的で非対称な整合目的を提案する。
• 具体的で検証可能な仮定の下でターゲット領域の性能に対する理論的保証を提供する。
• 対抗的学習と互換性のあるベータ適合距離（f-ダーヴァージェンス、修正ウォータシュatarン距離、リウェイティング）を開発する。
• 合成データと実データのすべてで標準的なドメイン対向法よりも実証的改善を示す。

提案手法

• 対向的ドメイン適応において正確な分布マッチングをベータ適合距離に置換する。
• sup_z p_T^φ(z)/p_S^φ(z) <= 1+β のとき距離が0になるようD_βを定義する。
• ベータ適合f-ダーヴァージェンス、修正ウォータシュタイン距離、リウェイティング距離の3つの実用的実装を提示する。
• これらのベータ適合距離を実現する対戦的学習目的を導出する（デュアル形の適応も含む）。
• ミニバッチ訓練内でリウェイティング距離を最適化するためのソーティングによる暗黙的再重み付けスキームを提案する。
• 特定の条件の下でターゲット誤差の理論的界を示す：E_T(φ,h) ≤ (1+β) E_S(φ,h) + 3δ1 + 2(1+β)δ2 + δ3。

実験結果

リサーチクエスチョン

• RQ1 標準のドメイン対向目的はラベル分布シフトの下で正確な分布マッチングにより失敗する可能性があるか。
• RQ2 非対称に緩和された分布整合はラベルシフト仮定の下で失敗を緩和しターゲット領域の保証を提供するか。
• RQ3 ベータ適合距離をどのように構築し対戦的訓練で最適化して緩やかな整合を強制できるか。
• RQ4 ベータ適合アプローチはラベルシフトを伴う合成データでターゲット精度を改善し、シフトが欠如する場合には比較的同等の性能を示すか。

主な発見

• ラベル分布シフトの下で、バニラDANNは潜在空間のクロスラベルマッピングのためターゲット精度を維持できない。
• ベータ適合距離は適応を可能にし、合成データでターゲット精度を改善（報告された設定で89%から99%へなど）。
• 理論的界は、条件が明確に述べられた場合、ターゲット誤差がスケーリングされたソース誤差と小さな加法項で制御されることを示す。
• 3つの実用的なベータ適合距離を開発し、対戦的訓練で最適化可能。
• 合成データと実データの実証結果は、非対称に緩和された整合によるターゲット性能の向上と、それ以外の場合には競争力のある性能を示す。