[论文解读] FixBi: Bridging Domain Spaces for Unsupervised Domain Adaptation

Jaemin Na, Heechul Jung+2 more|arXiv (Cornell University)|Nov 18, 2020

Domain Adaptation and Few-Shot Learning参考文献 41被引用 8

一句话总结

FixBi 提出了一种新颖的无监督域自适应方法，通过基于固定比例的混合方法生成多个中间域，以弥合大规模域差异。它利用高置信度预测的双向匹配和低置信度预测的自惩罚策略，训练互补的源域主导和目标域主导模型，在 Office-31、Office-Home 和 VisDA-2017 基准上实现了最先进性能。

ABSTRACT

Unsupervised domain adaptation (UDA) methods for learning domain invariant representations have achieved remarkable progress. However, most of the studies were based on direct adaptation from the source domain to the target domain and have suffered from large domain discrepancies. In this paper, we propose a UDA method that effectively handles such large domain discrepancies. We introduce a fixed ratio-based mixup to augment multiple intermediate domains between the source and target domain. From the augmented-domains, we train the source-dominant model and the target-dominant model that have complementary characteristics. Using our confidence-based learning methodologies, e.g., bidirectional matching with high-confidence predictions and self-penalization using low-confidence predictions, the models can learn from each other or from its own results. Through our proposed methods, the models gradually transfer domain knowledge from the source to the target domain. Extensive experiments demonstrate the superiority of our proposed method on three public benchmarks: Office-31, Office-Home, and VisDA-2017.

研究动机与目标

• 解决无监督域自适应（UDA）中因边缘分布差距显著而导致源域到目标域直接适应失败的大规模域差异挑战。
• 克服现有 UDA 方法依赖直接域自适应而未考虑大规模域偏移的局限性。
• 通过构建具有互补特性的中间域，开发一种实现从源域到目标域有效知识迁移的方法。
• 通过基于置信度的学习策略，利用伪标签和一致性正则化，提升模型泛化能力和鲁棒性。
• 在目标域无标签数据的情况下，实现在标准 UDA 基准上的最先进性能。

提出的方法

• 提出一种基于固定比例的混合技术，在源域和目标域之间生成多个中间域，通过控制源域与目标域样本的比例，最小化域随机性。
• 训练两个互补模型：一个源域主导模型和一个目标域主导模型，分别针对域空间的不同区域进行优化。
• 利用每个模型的高置信度伪标签实施双向匹配，对齐预测结果，并逐步将中间域向目标域推进。
• 对低置信度预测应用自惩罚，通过自训练提升模型鲁棒性并减少过拟合。
• 基于小批量置信度分布动态调整置信度阈值，避免固定阈值可能引起的欠拟合或过拟合。
• 在源-目标比例均衡的增强域上施加一致性正则化，以稳定训练并防止中间模型发散。

实验结果

研究问题

• RQ1 基于固定比例的混合方法能否有效生成中间域，从而减小源域与目标域之间的域差距？
• RQ2 在高置信度预测上实施双向匹配是否能提升无监督域自适应中的知识迁移效果？
• RQ3 对低置信度预测实施自惩罚是否能提升无目标标签情况下的模型鲁棒性和性能？
• RQ4 基于置信度分布的自适应阈值相较于固定阈值，能否显著提升模型泛化能力？
• RQ5 在比例均衡的中间域上施加一致性正则化，能否防止模型发散并提升训练稳定性？

主要发现

• 在 Office-31 上，FixBi 使用 ResNet-50 达到 91.4% 的平均准确率，相较于基线方法 MSTN 在 W→A 任务上提升 13.8%。
• 在 Office-Home 上，FixBi 达到 72.7% 的平均准确率，较 SRDC 和 RSDA-MSTN 提升约 2%，在真实域到艺术域的域偏移任务中表现强劲。
• 在 VisDA-2017 上使用 ResNet-101，FixBi 相较于基线方法 MSTN 实现 22.2% 的平均准确率提升，并达到最先进水平。
• 在 VisDA-2017 上，FixBi 相较于基于混合方法的 DMRL 和 DM-ADA 提升 12%，验证了其中间域策略的有效性。
• 消融研究证实，双向匹配和自惩罚均对性能提升有显著贡献，且一致性正则化有效稳定了训练过程。
• 该方法在所有三个基准上均取得具有竞争力的结果，且无需目标域标签数据，验证了其在大规模域偏移下的鲁棒性。