[论文解读] Domain Adaptation with Asymmetrically-Relaxed Distribution Alignment

Yifan Wu, Ezra Winston+2 more|arXiv (Cornell University)|Mar 5, 2019

Domain Adaptation and Few-Shot Learning参考文献 23被引用 58

一句话总结

论文引入非对称放宽的分布对齐用于领域自适应，用β可容许距离替代精确分布匹配，在标签转换下保持鲁棒，并给出理论与实证结果，显示目标域性能的提升。

ABSTRACT

Domain adaptation addresses the common problem when the target distribution generating our test data drifts from the source (training) distribution. While absent assumptions, domain adaptation is impossible, strict conditions, e.g. covariate or label shift, enable principled algorithms. Recently-proposed domain-adversarial approaches consist of aligning source and target encodings, often motivating this approach as minimizing two (of three) terms in a theoretical bound on target error. Unfortunately, this minimization can cause arbitrary increases in the third term, e.g. they can break down under shifting label distributions. We propose asymmetrically-relaxed distribution alignment, a new approach that overcomes some limitations of standard domain-adversarial algorithms. Moreover, we characterize precise assumptions under which our algorithm is theoretically principled and demonstrate empirical benefits on both synthetic and real datasets.

研究动机与目标

• 在分布发生偏移、支集可能不重叠且可能存在标签变换的情况下的领域自适应动机。
• 提出一个放宽的、非对称对齐目标，用以对 Target 与 Source 表示之间的密度比进行上界。
• 在具体、可验证的假设下为目标域性能提供理论保证。
• 开发与对抗训练兼容的β-可容许距离（f-散度、改进的 Wasserstein、重加权）。
• 在合成与真实数据上展示相较于标准域对抗方法的实证改进。

提出的方法

• 在对抗域自适应中用β可容許距离替代精确分布匹配。
• 定义 D_beta，当 sup_z p_T^φ(z)/p_S^φ(z) <= 1+β 时满足零距离。
• 给出三种实用实例：β可容許的 f-散度、改进的 Wasserstein 距离以及重加权距离。
• 推导实现这些β可容許距离的对抗训练目标（含对偶形式的调整）。
• 提出一种通过排序隐式重加权的方案，在小批量训练中优化重加权距离。
• 给出目标误差的理论界限：在特定条件下 E_T ≤ (1+β) E_S + 3δ1 + 2(1+β)δ2 + δ3。

实验结果

研究问题

• RQ1 标准域对抗目标在标签分布偏移下会因精确分布匹配而失败吗？
• RQ2 非对称放宽的分布对齐是否能减轻失败并在标签偏移假设下为目标域提供保证？
• RQ3 如何在对抗训练中构建并优化β可容許距离以实现放宽对齐？
• RQ4 β可容許方法是否在带标签偏移的合成数据上提升目标准确率，在偏移不存在时表现相当？

主要发现

• 在标签分布偏移下，原生 DANN 因潜在空间中跨标签映射而无法维持目标准确度。
• β可容許距离使适应成功，在合成数据上提升目标准确度（例如在所述设置下从89%到99%）。
• 理论界限表明目标误差在明确条件下由放缩后的源误差及少量加法项控制。
• 已开发三种实用的β可容許距离，可以通过对抗训练优化。
• 对合成和真实数据集的实证结果显示，采用非对称放宽对齐可提升目标表现，其他情况也具有竞争力。