[論文レビュー] Domain Adaptation with Conditional Distribution Matching and Generalized Label Shift

Rémi Tachet, Han Zhao+2 more|arXiv (Cornell University)|Mar 10, 2020

Domain Adaptation and Few-Shot Learning参考文献 69被引用数 68

ひとこと要約

本研究は一般化されたラベルシフト(GLS)と、ソースとターゲットのラベル分布が異なる場合に教師なしドメイン適応を頑健化する推定ベースの再重み付け手法を提案する。特徴空間で再重み付けされたソース分布とターゲット分布を揃えることにより、DANN/JAN/CDANの重要度重み付き(IW)バリアントを用いる。

ABSTRACT

Adversarial learning has demonstrated good performance in the unsupervised domain adaptation setting, by learning domain-invariant representations. However, recent work has shown limitations of this approach when label distributions differ between the source and target domains. In this paper, we propose a new assumption, generalized label shift ($GLS$), to improve robustness against mismatched label distributions. $GLS$ states that, conditioned on the label, there exists a representation of the input that is invariant between the source and target domains. Under $GLS$, we provide theoretical guarantees on the transfer performance of any classifier. We also devise necessary and sufficient conditions for $GLS$ to hold, by using an estimation of the relative class weights between domains and an appropriate reweighting of samples. Our weight estimation method could be straightforwardly and generically applied in existing domain adaptation (DA) algorithms that learn domain-invariant representations, with small computational overhead. In particular, we modify three DA algorithms, JAN, DANN and CDAN, and evaluate their performance on standard and artificial DA tasks. Our algorithms outperform the base versions, with vast improvements for large label distribution mismatches. Our code is available at https://tinyurl.com/y585xt6j.

研究の動機と目的

• ドメイン適応におけるラベル分布の不一致に対する頑健性を動機づける。
• GLSを表現学習の条件として導入し、転送を支える。
• エラー分解とGLSを導く実用的条件を導出する。
• DANN、JAN、CDANの重要度重み付け適用を提案する。
• 理論的保証と標準的なDAタスクでの実証を伴うアルゴリズムを提供する。

提案手法

• GLSを定義する: D_S(Z|Y=y) = D_T(Z|Y=y) が Y のすべての y について成り立つ。
• GLSの下で BER（平衡誤差率）と条件付き誤差ギャップを用いるエラー分解境界を提案する。
• クラス重み比率 w_y = D_T(Y=y)/D_S(Y=y) および再重み付け特徴分布を用いて GLS の必要十分条件を導出する。
• 分類器の混同行列 C とターゲット予測 μ を用いて二次計画法を解くことで非負の重み w を推定する（QP(C, μ)）。
• ソースサンプルおよび/または結合表現を重み付けて D_T(˜Z) を D_S^w(˜Z) に整合させる三つの IW-DA 手法(IWDAN, IWJAN, IWCDAN)を実装する。
• 真の重みを用いたオラクル variants (IWDAN-O, IWJAN-O, IWCDAN-O) を提供し、ベンチマーキングを行う。

実験結果

リサーチクエスチョン

• RQ1 GLSはドメイン間でラベル分布が異なる場合に頑健な保証を提供できるか。
• RQ2 ターゲットラベルを持たずに w（ターゲットからソースへのラベル比）を推定するにはどうすればよいか。
• RQ3 特徴空間で再重み付けされたソース分布とターゲット分布を整合させることは、ラベルシフト下のDA性能を改善するか。
• RQ4 大きなラベル分布の不一致の下で、DANN、JAN、CDANの重要度重み付けバリアントはベース版よりも優れているか。
• RQ5 GLSがターゲット誤差および結合誤差境界に及ぼす理論的・経験的影響は何か。

主な発見

• GLSは入力空間ではなく特徴空間にラベルシフト制約を置くことで、ラベル分布の不一致に対する感度を低減する。
• エラー分解境界は、源・標的誤差ギャップをラベル限界のL1距離と条件付き誤差ギャップ、さらに BER で上界できることを示す。
• QPを用いた実用的な重み推定アプローチは非負の重み w を生み、クラス数 k に対してスケール良く動く。
• IW版のDANN、JAN、CDANは、ラベル不一致が大きい人工タスクおよび標準DAタスクでベース版を上回り、オラクル重みはさらに大きな向上をもたらす。
• 改善はラベル分布の発散量 D_JS(D_S^Y, D_T^Y) の大きさと相関があり、発散が大きいほど改善が大きい。
• アブレーション研究では、敵対的損失のリウェイティングが最も利益を生み、その上で分類器損失の重み付けが追加的な利益をもたらす。