[论文解读] Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation

Bo Li, Yezhen Wang+5 more|arXiv (Cornell University)|Oct 9, 2020

Domain Adaptation and Few-Shot Learning参考文献 54被引用 11

一句话总结

本文提出LIRR，一种新颖的半监督域自适应方法，通过联合学习不变表示与不变风险，以提升目标域泛化性能。通过推导同时考虑边缘分布与条件分布偏移的有限样本泛化界，LIRR在图像分类与回归任务上优于当前最先进方法，尤其在标注目标数据有限时表现更优，证明了同时优化表示与风险不变性的优越性。

ABSTRACT

The success of supervised learning hinges on the assumption that the training and test data come from the same underlying distribution, which is often not valid in practice due to potential distribution shift. In light of this, most existing methods for unsupervised domain adaptation focus on achieving domain-invariant representations and small source domain error. However, recent works have shown that this is not sufficient to guarantee good generalization on the target domain, and in fact, is provably detrimental under label distribution shift. Furthermore, in many real-world applications it is often feasible to obtain a small amount of labeled data from the target domain and use them to facilitate model training with source data. Inspired by the above observations, in this paper we propose the first method that aims to simultaneously learn invariant representations and risks under the setting of semi-supervised domain adaptation (Semi-DA). First, we provide a finite sample bound for both classification and regression problems under Semi-DA. The bound suggests a principled way to obtain target generalization, i.e. by aligning both the marginal and conditional distributions across domains in feature space. Motivated by this, we then introduce the LIRR algorithm for jointly extbf{L}earning extbf{I}nvariant extbf{R}epresentations and extbf{R}isks. Finally, extensive experiments are conducted on both classification and regression tasks, which demonstrates LIRR consistently achieves state-of-the-art performance and significant improvements compared with the methods that only learn invariant representations or invariant risks.

研究动机与目标

• 解决无监督域自适应方法仅学习不变表示或风险的局限性，此类方法在标签分布偏移下可能失效。
• 提出一种更贴近实际的半监督域自适应（Semi-DA）设置，允许访问少量标注目标数据。
• 为Semi-DA设置下的分类与回归任务提供有限样本泛化界，识别边缘分布与条件分布差异为影响目标性能的关键因素。
• 设计一种合理算法LIRR，联合最小化表示不变性与风险不变性，以减少目标域准确率差异。
• 通过大量实验表明，同时学习不变表示与风险可实现优于仅优化单一目标的方法的性能。

提出的方法

• 推导Semi-DA设置下分类（定理4.1）与回归（定理4.2）的有限样本泛化界，表明目标误差依赖于边缘分布与条件分布差异。
• 引入信息论解释以指导泛化界最小化算法的设计。
• 提出LIRR（学习不变表示与风险），一种联合优化框架，同时最小化特征边缘分布与条件标签分布的域偏移。
• 利用对比学习目标对齐跨域表示，利用风险不变性正则化对齐跨域最优预测器。
• 将余弦分类器（CosC）模块与LIRR集成，以进一步提升性能，尤其在少样本标注目标场景下。
• 使用标注源数据、少量标注目标数据与无标注目标数据，通过基于梯度的优化方法端到端训练模型。

实验结果

研究问题

• RQ1 能否为半监督域自适应推导出同时考虑边缘与条件分布偏移的有限样本泛化界？
• RQ2 能否通过同时学习不变表示与不变风险，而非仅优化其一，来提升目标域泛化性能？
• RQ3 标注目标数据的比例如何影响LIRR与其他方法之间的性能差距？
• RQ4 将LIRR与余弦分类器结合是否能进一步提升半监督域自适应任务的性能？
• RQ5 LIRR能否在分类与回归设置下，超越仅关注不变表示或不变风险的现有SOTA方法？

主要发现

• LIRR在多个数据集的图像分类基准上达到SOTA性能，优于仅学习不变表示或风险的方法。
• 在交通计数回归任务中，LIRR在1%与5%标注目标数据下均取得最低平均绝对误差（MAE），表现持续优越。
• 当标注目标数据占比达25%或30%时，LIRR及其变体LIRR+CosC甚至优于在完全标注目标数据上训练的“理想”模型。
• 消融实验表明，仅优化单一不变目标（如表示或风险）的性能劣于联合学习两者，验证了理论设计的有效性。
• Grad-CAM可视化显示，LIRR能学习到对跨域不变特征（如马的形状）的关注，证实了其鲁棒的特征学习能力。
• 将余弦分类器（CosC）与LIRR结合带来的性能增益大于仅使用LIRR，尤其在低数据场景下更为显著。