[论文解读] Domain Adaptation via Maximizing Surrogate Mutual Information

Haiteng Zhao, Chang Ma+2 more|arXiv (Cornell University)|Oct 23, 2021

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

本文提出 SIDA，一种新颖的无监督域自适应框架，通过最大化源域与目标域中同类别特征之间的代理互信息来提升泛化性能。通过使用可学习的代理分布建模目标域，并在理论上通过互信息与分布偏差约束目标风险，SIDA 在 Office-31、Office-Home 和 VisDA-2017 基准上实现了最先进性能。

ABSTRACT

Unsupervised domain adaptation (UDA) aims to predict unlabeled data from target domain with access to labeled data from the source domain. In this work, we propose a novel framework called SIDA (Surrogate Mutual Information Maximization Domain Adaptation) with strong theoretical guarantees. To be specific, SIDA implements adaptation by maximizing mutual information (MI) between features. In the framework, a surrogate joint distribution models the underlying joint distribution of the unlabeled target domain. Our theoretical analysis validates SIDA by bounding the expected risk on target domain with MI and surrogate distribution bias. Experiments show that our approach is comparable with state-of-the-art unsupervised adaptation methods on standard UDA tasks.

研究动机与目标

• 解决现有基于伪标签和条件对齐的类别级域自适应方法缺乏理论依据的问题。
• 通过最大化同类别特征之间的互信息，提升跨域特征可区分性。
• 减少目标域中不同类别特征之间的混淆，从而提升泛化能力。
• 提供一个理论基础扎实的框架，将互信息最大化与目标域上的期望风险降低联系起来。

提出的方法

• SIDA 使用类似对比学习的目标函数，最大化源域与目标域中同类别特征之间的互信息。
• 构建代理联合分布以建模无标签的目标域，提升数据选择与互信息估计的灵活性。
• 通过类似扩散的更新规则优化代理分布，通过平衡拉普拉斯损失与互信息损失的梯度下降，防止快速坍缩。
• 模型采用双流编码器结构，共享特征提取模块并使用领域特定的批量归一化层，通过 SGD 优化并采用学习率调度策略。
• 目标函数结合了互信息损失、辅助对比损失与拉普拉斯正则化项，以稳定训练过程。
• 使用 K-最近邻图定义局部邻域以进行互信息估计，代理分布通过 T 步迭代方式逐步优化。

实验结果

研究问题

• RQ1 最大化同类别特征之间的互信息是否能提升无监督域自适应中的跨域泛化性能？
• RQ2 代理分布如何提升目标域自适应中互信息估计的稳定性和性能？
• RQ3 互信息、代理分布偏差与目标域期望风险之间存在何种理论关系？
• RQ4 与现有条件对齐方法相比，互信息最大化是否能带来更好的特征可区分性？
• RQ5 一个理论依据充分的基于互信息的框架是否能在标准基准上超越最先进类级无监督域自适应模型？

主要发现

• SIDA 在 Office-31、Office-Home 和 VisDA-2017 基准上均达到最先进性能，优于现有类级域自适应方法。
• 在 Office-31 的 D→A 和 W→A 任务中，SIDA 生成的特征表示比 ResNet-50 和 CDAN 更具可区分性，t-SNE 可视化结果清晰显示了这一点。
• 可视化结果证实，SIDA 显著增强了目标域上的类内紧凑性与类间可分性。
• 在 VisDA-2017 上，当 α₁=3.0 且 α₂=1.0 时，该模型在所有对比方法中取得了最高的测试准确率。
• 理论分析建立了目标域期望风险的上界，其依赖于互信息与代理分布偏差，验证了该框架的泛化能力。
• 代理分布的类似扩散的更新规则可防止快速坍缩，提升训练稳定性，优化过程的稳定收敛性也得到了验证。