[論文レビュー] Implicit Class-Conditioned Domain Alignment for Unsupervised Domain Adaptation

Xiang Jiang, Qicheng Lao+2 more|arXiv (Cornell University)|Jun 9, 2020

Domain Adaptation and Few-Shot Learning被引用数 52

ひとこと要約

擬似ラベル最適化に依存せず、内部ドメインのクラス不均衡とドメイン間分布シフトに対処する、暗黙のサンプリングベースのクラス条件付きドメイン整合を提案し、教師なしドメイン適応を改善する。

ABSTRACT

We present an approach for unsupervised domain adaptation---with a strong focus on practical considerations of within-domain class imbalance and between-domain class distribution shift---from a class-conditioned domain alignment perspective. Current methods for class-conditioned domain alignment aim to explicitly minimize a loss function based on pseudo-label estimations of the target domain. However, these methods suffer from pseudo-label bias in the form of error accumulation. We propose a method that removes the need for explicit optimization of model parameters from pseudo-labels directly. Instead, we present a sampling-based implicit alignment approach, where the sample selection procedure is implicitly guided by the pseudo-labels. Theoretical analysis reveals the existence of a domain-discriminator shortcut in misaligned classes, which is addressed by the proposed implicit alignment approach to facilitate domain-adversarial learning. Empirical results and ablation studies confirm the effectiveness of the proposed approach, especially in the presence of within-domain class imbalance and between-domain class distribution shift.

研究の動機と目的

• 教師なしドメイン適応（UDA）におけるドメイン内のクラス不均衡とドメイン間の分布シフトという課題に対処する。
• クラス条件付き整合のための明示的な擬似ラベル最適化への依存を排除する。
• クラスのミスアライメントにより生じるドメイン識別機のショートカットに関する理論的洞察を提供し、サンプリングベースの解決策を提案する。
• 極端なクラス分布シナリオにおいて、標準的なUDAベンチマークで堅牢性と改善を示す。

提案手法

• 経験的 HΔH 発散をクラス整列成分とクラス不整列成分に分解し、ミスアライメントの有害な影響を示す。
• 擬似ラベルにより推進されるクラス整列ミニバッチサンプリングを介して、固定されたターゲットラベル分布 p(y) を用いた暗黙的なクラス条件付きドメイン整合を導入する。
• S のサンプル: x ~ pS(x|y)p(y) および T: x ~ pT(x|ŷ)p(y) を用いて、学習用のクラス整列ミニバッチを作成する。
• 暗黙的サンプリングを敵対的ドメイン整合（例：MDD）と統合し、クラス不整列ショートカットを抑制するためにドメイン差異推定器にマスキングスキームを適用する。
• 擬似ラベル誤差に対するロバスト性を検討するために、オラクル版と擬似ラベルベース版を提供する。
• 本手法はドメイン適応アルゴリズムの選択に直交しており、複数のベンチマークで改善をもたらすことを示す。

実験結果

リサーチクエスチョン

• RQ1 明示的な擬似ラベル最適化なしで、サンプリングベースの暗黙的クラス条件付き整合は、ドメイン間のクラス分布の不整合を低減できるか？
• RQ2 クラス不整合に対処することが、経験的なドメイン発散推定値とドメイン不変表現の学習にどう影響するか？
• RQ3 標準的なUDAベンチマーク全体で、擬似ラベル誤差と極端なドメイン内/クラス分布シフトに対して、暗黙的整合は頑健か？
• RQ4 既存のドメイン差異測度（例：MDD）と相乗効果を発揮し、明示的なクラス条件付き整合より性能を向上させるか？

主な発見

• 暗黙的整合は、極端なドメイン内クラス不均衡とドメイン間分布シフト（Office-Home RS-UT）下で最先端の結果を達成する。
• 明示的整合と比較して、暗黙的整合は擬似ラベルの不正確さに対して頑健であり、誤差の蓄積を低減する。
• Office-Home、Office-31、VisDA2017 全体で、暗黙的整合は MDD を含む強力なベースラインやいくつかの明示的手法を一貫して上回る。
• ドメイン差異推定器へのマスキングスキームとクラス整列サンプリングを組み合わせることで、ミスアライメントクラスにおけるドメイン識別機のショートカットを効果的に抑制する。
• アブレーション研究は、入力空間のサンプリングと発散度指標のマスキングの両方が、観測された改善に不可欠であることを示す。
• 合成実験でDANNと組み合わせた場合、様々な不均衡シナリオで精度をさらに向上させる。