[论文解读] Implicit Class-Conditioned Domain Alignment for Unsupervised Domain Adaptation

Xiang Jiang, Qicheng Lao+2 more|arXiv (Cornell University)|Jun 9, 2020

Domain Adaptation and Few-Shot Learning被引用 52

一句话总结

提议一种隐式、基于采样的类条件域对齐来提升无监督领域自适应，解决同域类别不平衡以及跨域分布偏移，而不依赖伪标签优化。

ABSTRACT

We present an approach for unsupervised domain adaptation---with a strong focus on practical considerations of within-domain class imbalance and between-domain class distribution shift---from a class-conditioned domain alignment perspective. Current methods for class-conditioned domain alignment aim to explicitly minimize a loss function based on pseudo-label estimations of the target domain. However, these methods suffer from pseudo-label bias in the form of error accumulation. We propose a method that removes the need for explicit optimization of model parameters from pseudo-labels directly. Instead, we present a sampling-based implicit alignment approach, where the sample selection procedure is implicitly guided by the pseudo-labels. Theoretical analysis reveals the existence of a domain-discriminator shortcut in misaligned classes, which is addressed by the proposed implicit alignment approach to facilitate domain-adversarial learning. Empirical results and ablation studies confirm the effectiveness of the proposed approach, especially in the presence of within-domain class imbalance and between-domain class distribution shift.

研究动机与目标

• 解决无监督领域自适应（UDA）中同域内类别不平衡与跨域分布偏移的挑战。
• 消除对显式伪标签优化以进行类条件对齐的依赖。
• 提供关于由类别错配引发的领域判别器捷径的理论洞察，并提出基于采样的补救办法。
• 在极端类别分布情形下，在标准UDA基准上展示鲁棒性与改进。

提出的方法

• 将经验HΔH散度分解为类别对齐和类别错配分量，以展示错配的有害影响。
• 通过伪标签驱动的类别对齐小批量采样实现隐式类别条件域对齐，目标分布p(y)保持不变。
• 采样S: x ~ pS(x|y)p(y) 与 T: x ~ pT(x|ŷ)p(y)，以创建用于训练的类别对齐小批量。
• 将隐式采样与对抗域对齐（如MDD）相结合，并对域差异估计器应用掩蔽机制，以缓解类别错配捷径。
• 提供一个oracle版本和一个基于伪标签的版本来研究对伪标签错误的鲁棒性。
• 显示该方法与领域自适应算法选择正交，并在多个基准上取得改进。

实验结果

研究问题

• RQ1 采样型隐式类别条件对齐是否能在不依赖显式伪标签优化的情况下减少跨域类别分布的错配？
• RQ2 解决类别错配对经验域际分歧估计和领域不变表示学习的影响？
• RQ3 在标准UDA基准上，隐式对齐对伪标签错误和同域/类别极端分布偏移是否鲁棒？
• RQ4 该方法是否与现有领域差异度量（如MDD）协同并在显式类别对齐上取得更好表现？

主要发现

• 在极端同域内类别不平衡和跨域分布偏移（Office-Home RS-UT）下，隐式对齐实现了最新的结果。
• 与显式对齐相比，隐式对齐对伪标签不准确性更鲁棒，减少错误累积。
• 在Office-Home、Office-31和VisDA2017上，隐式对齐相较于强基线（包括MDD及若干显式方法）表现出持续改进。
• 对域差异估计器的掩蔽机制，结合类别对齐采样，有效缓解错配类别中的域判别器捷径。
• 消融研究表明输入空间采样和散度度量掩蔽对于观察到的增益都是必需的。
• 在合成实验中与DANN结合时，隐式对齐在各种不平衡情境下进一步提高准确性。