[論文レビュー] Class-imbalanced Domain Adaptation: An Empirical Odyssey

Shuhan Tan, Xingchao Peng+1 more|arXiv (Cornell University)|Oct 23, 2019

Domain Adaptation and Few-Shot Learning参考文献 56被引用数 8

ひとこと要約

本稿は、特徴およびラベルの分布がドメイン間でシフトする現実的でない設定であるクラス不均衡ドメイン適応（CDA）を導入する。本稿では、条件付き特徴分布とラベル分布を同時に整合させる共同整合モデルCOALを提案し、22のクロスドメインタスクからなる新ベンチマークにおいて、既存手法を著しく上回り、強力なベースラインを上回る最大5.2%の精度向上を達成する。

ABSTRACT

Unsupervised domain adaptation is a promising way to generalize deep models to novel domains. However, the current literature assumes that the label distribution is domain-invariant and only aligns the feature distributions or vice versa. In this work, we explore the more realistic task of Class-imbalanced Domain Adaptation: How to align feature distributions across domains while the label distributions of the two domains are also different? Taking a practical step towards this problem, we constructed the first benchmark with 22 cross-domain tasks from 6real-image datasets. We conducted comprehensive experiments on 10 recent domain adaptation methods and find most of them are very fragile in the face of coexisting feature and label distribution shift. Towards a better solution, we further proposed a feature and label distribution CO-ALignment (COAL) model with a novel combination of existing ideas. COAL is empirically shown to outperform the most recent domain adaptation methods on our benchmarks. We believe the provided benchmarks, empirical analysis results, and the COAL baseline could stimulate and facilitate future research towards this important problem.

研究の動機と目的

• 現在の教師なしドメイン適応（UDA）手法が、ドメイン間でラベル分布が同一であると仮定しているという実用的制限を是正すること。これは、現実世界ではラベルのシフトが一般的であるためである。
• 特徴分布とラベル分布が同時にシフトする状況下で、既存のUDA手法が脆弱であることを示し、しばしば負の転送を引き起こすことを明らかにすること。
• 6つの実画像データセットを用いた22のクロスドメインタスクを含む、CDAのための包括的で最初のベンチマークを確立すること。
• 条件付き特徴分布とラベル分布を同時に整合させる、新たなCOALフレームワークを提案し、その有効性を検証すること。
• 今後の研究が、現実世界に適用可能な強固なドメイン適応に向けた実証的根拠と強力なベースラインを提供すること。

提案手法

• 特徴分布シフト（p(x) ≠ q(x)）とラベル分布シフト（p(y) ≠ q(y)）が共存する新たなドメイン適応設定CDAを提案。p(x|y) ≠ q(x|y) が成り立つ。
• 二重目的の学習フレームワークを導入：(1) プロトタイプベースの条件付き特徴整合による自己訓練（L_ST）、(2) エントロピー最小化と交差エントロピー損失を用いたラベル分布整合（L_H）。
• 不均衡なソースデータからのバイアスを軽減するため、バランスの取れたソースサンプラーを採用し、ラベルシフト下での一般化性能を向上させる。
• 特徴表現学習に、敵対的ドメイン整合を組み合わせたResNet-50バックボーンを用い、ソースデータおよび疑似ラベル付きのターゲットデータで訓練された分類器ヘッドを搭載。
• アブレーションスタディにおいて、バランスと不均衡なラベル設定の間で線形補間を適用し、ラベルシフトの度合いを変化させたシナリオを模擬する。
• t-SNE可視化を用いて、ドメイン間での特徴整合の質を定性的に評価し、COALが他の手法に比べてより優れたカテゴリごとのクラスタリングを達成していることを確認。

実験結果

リサーチクエスチョン

• RQ1 特徴分布とラベル分布が同時にシフトする状況下で、既存の最先端ドメイン適応手法はどの程度の性能を示すか？
• RQ2 ラベルシフトの度合いが変化することで、現在のUDA手法の性能にどのような影響を与えるか？
• RQ3 条件付き特徴分布とラベル分布の共同整合は、クラス不均衡ドメイン適応において、より強固な性能向上をもたらすか？
• RQ4 提案されたCOALフレームワークの個々の構成要素が、CDAにおける性能にどの程度重要か？
• RQ5 バランスの取れたソースサンプラーは、ラベルシフト下での性能劣化をどの程度軽減できるか？

主な発見

• 提案されたCDAベンチマークにおいて、DAN、DANN、MCDなど既存のUDA手法はラベルシフト下で顕著な性能低下を示し、一部のケースでは10%以上の精度低下を記録した。
• MCD手法の精度は、ラベルシフトが0%から100%に増加するにつれ、91.45%から77.18%に低下し、ラベル分布シフトに対して極めて感受性が高いことが示された。
• COALは8タスク平均で77.44%の精度を達成し、最良のベースライン（MCDの74.46%）を平均3.0%上回った。
• アブレーションスタディの結果、条件付き特徴整合（L_ST）またはラベル分布整合（L_H）の目的関数を削除すると、COALの精度はそれぞれ2.6%および2.9%低下した。
• COALはラベルシフトの度合いが変化しても安定した性能を維持し、USPS→MNISTタスクでは88.12%～93.42%の範囲で精度を保った。これに対して、ベースライン手法は急激に性能を低下させた。
• t-SNE可視化により、COALが既存手法よりも優れたカテゴリごとのソース・ターゲット特徴の整合性を達成していることが確認され、誤ったクラス間整合を回避していた。