[论文解读] Domain Adaptation with Conditional Distribution Matching and Generalized Label Shift

Rémi Tachet, Han Zhao+2 more|arXiv (Cornell University)|Mar 10, 2020

Domain Adaptation and Few-Shot Learning参考文献 69被引用 68

一句话总结

论文引入广义标签漂移（GLS）及基于估计的重加权方法，通过在特征空间对重加权源分布和目标分布进行对齐，使用 IW 变体的 DANN/JAN/CDAN，使无监督领域自适应在源/目标标签分布不同的情况下更鲁棒。

ABSTRACT

Adversarial learning has demonstrated good performance in the unsupervised domain adaptation setting, by learning domain-invariant representations. However, recent work has shown limitations of this approach when label distributions differ between the source and target domains. In this paper, we propose a new assumption, generalized label shift ($GLS$), to improve robustness against mismatched label distributions. $GLS$ states that, conditioned on the label, there exists a representation of the input that is invariant between the source and target domains. Under $GLS$, we provide theoretical guarantees on the transfer performance of any classifier. We also devise necessary and sufficient conditions for $GLS$ to hold, by using an estimation of the relative class weights between domains and an appropriate reweighting of samples. Our weight estimation method could be straightforwardly and generically applied in existing domain adaptation (DA) algorithms that learn domain-invariant representations, with small computational overhead. In particular, we modify three DA algorithms, JAN, DANN and CDAN, and evaluate their performance on standard and artificial DA tasks. Our algorithms outperform the base versions, with vast improvements for large label distribution mismatches. Our code is available at https://tinyurl.com/y585xt6j.

研究动机与目标

• 在标签分布不匹配的条件下，激发/推动领域自适应的鲁棒性。
• 引入广义标签漂移（GLS）作为对表示的一个条件，以支持跨域迁移。
• 推导误差分解，以及用于 GLS 的实用条件，为算法设计提供指导。
• 提出 DANN、JAN 和 CDAN 的重要性加权自适应方法。
• 给出具有理论保证且在标准的 DA 任务上进行实证验证的算法。

提出的方法

• 定义 GLS： D_S(Z|Y=y) = D_T(Z|Y=y) 对所有 y 属于 Y。
• 提出在 GLS 下使用 BER（平衡错误率）和条件错误差距的误差分解界。
• 通过类别权重比 w_y = D_T(Y=y)/D_S(Y=y) 和重加权特征分布，推导 GLS 的必要充要条件。
• 通过求解一个二次规划，使用分类器混淆矩阵 C 和目标预测 μ 来估计 w（QP(C, μ)）。
• 实现三种 IW-DA 方法（IWDAN、IWJAN、IWCDAN），对源样本和/或联合 表示加权，以使 D_T(˜Z) 与 D_S^w(˜Z) 对齐。
• 提供使用真实权重的 oracle 变体（IWDAN-O、IWJAN-O、IWCDAN-O）用于基准测试。

实验结果

研究问题

• RQ1 当跨域标签分布不同时，GLS 能否提供鲁棒性保证？
• RQ2 在没有目标标签的情况下，如何估计目标对源的标签比率 w？
• RQ3 在特征空间中将重加权后的源分布与目标分布对齐，是否在标签漂移下提升 DA 性能？
• RQ4 在较大标签分布不匹配下， DANN、JAN 和 CDAN 的重要性加权变体是否优于其基线版本？
• RQ5 GLS 对目标误差和联合误差界的理论与实证影响是什么？

主要发现

• GLS 通过将标签漂移约束放在特征空间而非输入空间，降低对标签分布不匹配的敏感度。
• 误差分解界表明源目标误差差距可以被标签边缘分布的 L1 距离、条件误差差以及 BER 一起界定。
• 通过二次规划的实用权重估计方法得到非负权重 w，并且随类别数 k 的增加具备良好可扩展性。
• IW 变体的 DANN、JAN、CDAN 在带有大标签不匹配的人工任务以及在标准 DA 任务上优于其基线版本；oracle 权重带来更大收益。
• 收益与标签分布发散度 D_JS(D_S^Y, D_T^Y) 的大小呈相关；发散越大，改进越大。
• 消融研究表明，大部分收益来自对抗损失的再加权，额外收益来自对分类器损失的加权。