[论文解读] Adversarial Domain Adaptation Being Aware of Class Relationships

Zeya Wang, Baoyu Jing+4 more|arXiv (Cornell University)|May 28, 2019

Domain Adaptation and Few-Shot Learning被引用 7

一句话总结

该论文提出了一种关系感知的对抗性域自适应方法（RADA），通过多类别域判别器和结构正则化项显式建模类别间的语义关系，从而提升域自适应性能。通过将源域上从标签预测器学习到的类别间依赖关系与域判别器学习到的依赖关系对齐，RADA 改进了特征对齐，并在 Office-31 等基准数据集上实现了最先进性能。

ABSTRACT

Adversarial training is a useful approach to promote the learning of transferable representations across the source and target domains, which has been widely applied for domain adaptation (DA) tasks based on deep neural networks. Until very recently, existing adversarial domain adaptation (ADA) methods ignore the useful information from the label space, which is an important factor accountable for the complicated data distributions associated with different semantic classes. Especially, the inter-class semantic relationships have been rarely considered and discussed in the current work of transfer learning. In this paper, we propose a novel relationship-aware adversarial domain adaptation (RADA) algorithm, which first utilizes a single multi-class domain discriminator to enforce the learning of inter-class dependency structure during domain-adversarial training and then aligns this structure with the inter-class dependencies that are characterized from training the label predictor on source domain. Specifically, we impose a regularization term to penalize the structure discrepancy between the inter-class dependencies respectively estimated from domain discriminator and label predictor. Through this alignment, our proposed method makes the adversarial domain adaptation aware of the class relationships. Empirical studies show that the incorporation of class relationships significantly improves the performance on benchmark datasets.

研究动机与目标

• 为解决现有对抗性域自适应（ADA）方法忽略标签空间中语义类别关系的局限性。
• 通过捕捉并对齐源域与目标域之间的类别间依赖关系，提升域自适应性能。
• 开发一种方法，利用标签中的高层语义结构来指导更精确的分布对齐。
• 在不需重大网络架构修改的前提下，将类别关系感知融入对抗训练过程。

提出的方法

• 提出一种单一多类别域判别器，执行类别特定的域分类，实现跨类知识共享并学习类别间依赖关系。
• 引入一种结构正则化项，惩罚域判别器估计的类别间依赖关系与源域上标签预测器估计的依赖关系之间的差异。
• 使用高斯图模型表示类别间依赖关系，将关系建模为类别之间的对称条件依赖。
• 采用基于迹的优化方法计算正则化项，确保域判别器的依赖结构与源域标签预测器的结构保持一致。
• 将该方法作为即插即用模块集成到标准 DANN 框架中，使其与现有对抗性域自适应流程兼容。
• 通过谱分解和特征值分析，采用闭式解求解正则化优化，确保计算效率。

实验结果

研究问题

• RQ1 在标签空间中建模类别间语义关系是否能提升域自适应性能？
• RQ2 将域判别器的依赖结构与源域标签预测器的结构对齐，对特征对齐有何影响？
• RQ3 单一多类别域判别器是否优于按类别分别设置的判别器，以捕捉有意义的类别间关系？
• RQ4 结构正则化在多大程度上提升了在域偏移场景下的泛化能力？

主要发现

• 在 Office-31 数据集上，RADA 在使用 ResNet-50 的无监督域自适应设置下，平均准确率达到 87.3%，优于 MADA 及其他基线方法。
• 消融实验证明，仅使用多类别判别器（无正则化）的性能已优于 MADA，而加入结构正则化后，准确率进一步提升 0.9–1.1 个百分点。
• 在 W→A 和 D→A 域自适应任务中，RADA d→y 和 RADA y→d 的准确率分别为 71.3% 和 71.5%，分别超过仅使用单个多类别判别器基线的 68.5% 和 70.5%。
• 该方法在所有域迁移方向上均表现出一致的性能提升，证明其对域偏移具有鲁棒性。
• 结构正则化显著减少了域判别器与标签预测器之间估计的类别间依赖关系的差异，该结论通过消融分析得到验证。
• 所提方法具有模块化特性，可轻松集成到 DANN 等现有对抗性域自适应框架中，无需对网络架构进行大规模修改。