[论文解读] Domain Attention Consistency for Multi-Source Domain Adaptation

Zhongying Deng, Kaiyang Zhou+2 more|arXiv (Cornell University)|Nov 6, 2021

Domain Adaptation and Few-Shot Learning参考文献 51被引用 8

一句话总结

该论文提出DAC-Net，一种新颖的多源域自适应框架，通过在源域和目标域之间强制通道注意力权重的一致性，学习可迁移的属性。通过使用基于指数移动平均的域注意力一致性损失和类别紧凑性损失，DAC-Net在三个多源域自适应基准上实现了最先进性能，优于现有的特征分布对齐方法。

ABSTRACT

Most existing multi-source domain adaptation (MSDA) methods minimize the distance between multiple source-target domain pairs via feature distribution alignment, an approach borrowed from the single source setting. However, with diverse source domains, aligning pairwise feature distributions is challenging and could even be counter-productive for MSDA. In this paper, we introduce a novel approach: transferable attribute learning. The motivation is simple: although different domains can have drastically different visual appearances, they contain the same set of classes characterized by the same set of attributes; an MSDA model thus should focus on learning the most transferable attributes for the target domain. Adopting this approach, we propose a domain attention consistency network, dubbed DAC-Net. The key design is a feature channel attention module, which aims to identify transferable features (attributes). Importantly, the attention module is supervised by a consistency loss, which is imposed on the distributions of channel attention weights between source and target domains. Moreover, to facilitate discriminative feature learning on the target data, we combine pseudo-labeling with a class compactness loss to minimize the distance between the target features and the classifier's weight vectors. Extensive experiments on three MSDA benchmarks show that our DAC-Net achieves new state of the art performance on all of them.

研究动机与目标

• 为解决现有多源域自适应（MSDA）方法依赖特征分布对齐的局限性，当源域在外观上差异显著时，这种对齐可能适得其反。
• 提出一种基于可迁移属性学习的新范式用于MSDA，使模型聚焦于识别跨域共享的语义属性，而非对齐整个特征分布。
• 设计一种域注意力一致性机制，识别并强制源域与目标域间判别性特征通道的注意力权重一致性。
• 通过结合伪标签与类别紧凑性损失，将目标特征与分类器权重向量（类别原型）对齐，提升目标域泛化能力。
• 证明注意力一致性优于直接的特征分布对齐，适用于多源自适应。

提出的方法

• 引入一个特征通道注意力模块，用于识别在跨域分类中最具可迁移性的特征（属性）。
• 采用域注意力一致性损失，最小化每个源域的注意力权重指数移动平均（EMA）与目标域之间的距离。
• 利用EMA统计量稳定训练过程中的注意力一致性损失，提升模型鲁棒性与性能。
• 应用类别紧凑性损失，将目标特征拉近至对应的分类器权重向量，增强判别性特征学习。
• 结合伪标签与类别紧凑性损失，优化无标签目标数据的预测结果。
• 在较高层（如最后两个残差块之后）应用域注意力一致性损失，以捕捉抽象且可迁移的语义属性。

实验结果

研究问题

• RQ1 在多个源域与目标域之间强制注意力权重一致性，是否能比传统特征分布对齐带来更好的域自适应效果？
• RQ2 识别可迁移属性——即跨域共享的语义概念——是否比学习域不变特征更有效于多源域自适应？
• RQ3 损失应用位置的选择（如浅层与深层）如何影响基于注意力的域自适应性能？
• RQ4 使用EMA统计量进行注意力一致性是否能提升训练稳定性与模型泛化能力？
• RQ5 超参数如一致性损失与紧凑性损失的权重如何影响整体性能？

主要发现

• DAC-Net在所有三个MSDA基准上均达到最先进性能，在PACS数据集上取得90.79%的最高准确率，显著优于先前方法。
• 在最后两个残差块之后应用域注意力一致性损失可获得最佳性能，表明高层语义特征最适合作为基于注意力的一致性目标。
• 与使用原始批次统计量相比，使用EMA统计量计算域注意力一致性损失可使性能提升2.18个百分点（PACS上从88.61%提升至90.79%）。
• 基于MMD的距离函数在一致性损失中表现欠佳，而基于EMA的ℓ₁距离表现更优，证实EMA在稳定注意力对齐方面具有显著有效性。
• 消融实验表明，λₐ = 0.3 与 λc = 0.1 时性能最优，且模型对超参数变化具有较强鲁棒性。
• 消融研究证实，基于注意力的一致性优于直接的特征分布对齐（FDA），DAC-Net在PACS上比FDA高出1.52个百分点。