[論文レビュー] Domain Adaptation and Image Classification via Deep Conditional Adaptation Network

Pengfei Ge, Chuan-Xian Ren+2 more|arXiv (Cornell University)|Jun 14, 2020

Domain Adaptation and Few-Shot Learning参考文献 46被引用数 4

ひとこと要約

本稿では、条件付き最大平均差分（CMMD）を用いて、教師なしドメイン適応におけるソースドメインとターゲットドメインの深層特徴の条件付き分布を一致させる手法である、Deep Conditional Adaptation Network（DCAN）を提案する。さらに、相互情報量の最大化により特徴の判別性を向上させる。DCANは、標準的および部分的ドメイン適応ベンチマークにおいて最先端の性能を達成し、負の転送を軽減し、ラベル分布シフトに対してより頑健である点で、既存手法を上回っている。

ABSTRACT

Unsupervised domain adaptation aims to generalize the supervised model trained on a source domain to an unlabeled target domain. Marginal distribution alignment of feature spaces is widely used to reduce the domain discrepancy between the source and target domains. However, it assumes that the source and target domains share the same label distribution, which limits their application scope. In this paper, we consider a more general application scenario where the label distributions of the source and target domains are not the same. In this scenario, marginal distribution alignment-based methods will be vulnerable to negative transfer. To address this issue, we propose a novel unsupervised domain adaptation method, Deep Conditional Adaptation Network (DCAN), based on conditional distribution alignment of feature spaces. To be specific, we reduce the domain discrepancy by minimizing the Conditional Maximum Mean Discrepancy between the conditional distributions of deep features on the source and target domains, and extract the discriminant information from target domain by maximizing the mutual information between samples and the prediction labels. In addition, DCAN can be used to address a special scenario, Partial unsupervised domain adaptation, where the target domain category is a subset of the source domain category. Experiments on both unsupervised domain adaptation and Partial unsupervised domain adaptation show that DCAN achieves superior classification performance over state-of-the-art methods.

研究の動機と目的

• 教師なしドメイン適応における周辺分布一致の限界を解消する。これは、特徴とラベルの間の条件付き依存性を無視し、負の転送のリスクを生じさせる。
• 特徴とラベルの条件付き分布 $P^s(Z|Y)$ と $P^t(Z|Y)$ を効果的に一致させることで、ドメイン差を低減し、判別情報の保持を図る手法を開発する。
• ターゲットドメインにソースドメインのカテゴリの部分集合が存在するという挑戦的な部分的UDA（Partial UDA）状況を扱う。
• 未ラベルのターゲットドメインにおける特徴の判別性を、サンプルと予測ラベル間の相互情報量を活用することで向上させる。
• 多様なドメインシフト状況に一般化可能な、頑健で効率的かつスケーラブルな条件付きドメイン適応手法を提供する。

提案手法

• DCANは、ソースドメインとターゲットドメインの深層特徴の条件付き分布間の条件付き最大平均差分（CMMD）を最小化することで、$P^s(Z|Y)$ と $P^t(Z|Y)$ を一致させる。
• この手法は、クラスごとの統計や敵対的訓練を必要とせず、カーネルベースのCMMD推定を用いて条件付き分布の差を測定する。
• 追加の相互情報量最大化目的関数を導入し、未ラベルのターゲットサンプルから判別情報を取り出し、偽ラベルの品質を向上させる。
• CMMD最小化と相互情報量最大化を組み合わせたジョイント損失関数を用いて、エンドツーエンドでモデルを訓練することで、ドメインシフト下でも効果的な特徴学習を実現する。
• DCANは、小規模バッチに対しても頑健であり、バッチサイズなどのハイパーパrameterの微調整を必要としない。
• ソースカテゴリのサブセットがターゲットドメインに存在するという特性を考慮し、非存在クラスの誤分類を回避することで、標準的UDAおよび部分的UDAの両方をサポートする。

実験結果

リサーチクエスチョン

• RQ1 教師なしドメイン適応において、周辺分布一致よりもCMMDによる条件付き分布一致が、ドメイン差をより効果的に低減できるか？
• RQ2 特徴と予測の間の相互情報量を組み込むことで、未ラベルのターゲットデータにおけるモデルの一般化性能がどのように向上するか？
• RQ3 ターゲットドメインのカテゴリがソースドメインのサブセットである部分的UDA状況において、DCANは非存在クラスの誤分類を回避しながら効果的に動作するか？
• RQ4 DANN や DDC といった最先端手法と比較して、DCAN は多様なドメインシフト状況において、精度と頑健性の面で優れているか？
• RQ5 CMMD推定の計算コストはどの程度で、バッチサイズや特徴次元数にどのようにスケーリングされるか？

主な発見

• Office-31データセットでは、CMMD推定に真のラベルを使用した場合、DCANは100％に近い分類精度を達成し、偽ラベルバージョンを著しく上回った。
• W→AおよびD→Aというより困難なタスクでは、真のラベルを用いたDCANが、偽ラベルバージョンよりも約20%の精度向上を達成した。
• Office-Home（C→P）の部分的UDA設定では、ターゲットドメインに5つのクラスしか存在しない状況でも、DCANは75%以上の精度を維持したのに対し、DANNはソースオンリーベースラインを下回った。
• DCANの学習時間は、DANNに比べ約6%長く、DDCに比べ約11%長かったが、主にカーネル行列計算に起因し、実世界の展開においても実用的であった。
• 小バッチサイズ（例：n=8）に対しても頑健であることが示され、実際の応用ではハイパーパrameterチューニングの必要性が最小限に抑えられることが示唆された。
• アブレーションスタディにより、CMMDに基づく条件付き一致が、特に部分的UDAにおいて、周辺一致よりも負の転送を低減する点でより効果的であることが確認された。