[论文解读] Domain Adversarial Neural Networks for Domain Generalization: When It Works and How to Improve

Anthony Sicilia, Xingchen Zhao+1 more|arXiv (Cornell University)|Feb 7, 2021

Domain Adaptation and Few-Shot Learning被引用 14

一句话总结

本文研究了域对抗神经网络（DANN）在域泛化（DG）中的理论依据，揭示了标准DANN变体因仅对齐源域而无法与目标误差界对齐。为解决此问题，作者提出DANNCE——一种新颖算法，在训练过程中动态生成类目标图像以改善域对齐与泛化性能，在PACS和OfficeHome基准上实现最先进性能，较基线DANN平均准确率提升0.6%。

ABSTRACT

Theoretically, domain adaptation is a well-researched problem. Further, this theory has been well-used in practice. In particular, we note the bound on target error given by Ben-David et al. (2010) and the well-known domain-aligning algorithm based on this work using Domain Adversarial Neural Networks (DANN) presented by Ganin and Lempitsky (2015). Recently, multiple variants of DANN have been proposed for the related problem of domain generalization, but without much discussion of the original motivating bound. In this paper, we investigate the validity of DANN in domain generalization from this perspective. We investigate conditions under which application of DANN makes sense and further consider DANN as a dynamic process during training. Our investigation suggests that the application of DANN to domain generalization may not be as straightforward as it seems. To address this, we design an algorithmic extension to DANN in the domain generalization case. Our experimentation validates both theory and algorithm.

研究动机与目标

• 探究DANN的理论依据——最初为域自适应而推导——是否在无训练时目标数据可用的域泛化场景中依然成立。
• 分析目标误差界在训练过程中作为动态量的行为，特别是在DG情境下。
• 识别除混合分布外的其他满足DG中推导有效目标误差界条件的参考对象。
• 设计DANN的新型算法扩展，通过在训练期间模拟类目标数据来提升DG中的泛化性能。

提出的方法

• 作者将Albuquerque等人（2019）的理论框架扩展，以识别满足域泛化中目标误差界推导条件的参考对象。
• 提出DANNCE，一种利用图像空间梯度更新在训练过程中生成类目标图像的方法，这些图像随后用于训练域判别器。
• 算法使用Adam优化器在输入空间中执行迭代图像更新，通过基于梯度的扰动生成真实、与域无关的图像。
• 每四步应用一次高斯模糊，以抑制高频伪影并保持图像真实性，从而提升泛化性能。
• 通过留一源交叉验证选择超参数，以在不使用未见目标域的情况下模拟真实DG场景。
• 该方法在多任务训练方案中集成域判别器与分类器，其中域判别器被训练以区分真实源域与类目标图像。

实验结果

研究问题

• RQ1 原始DANN算法（专为域自适应设计）在应用于域泛化时，其理论依据是否依然成立？
• RQ2 除混合分布外，还有哪些参考对象可满足DG中推导有效目标误差界的关键条件？
• RQ3 在域泛化中，目标误差界在训练过程中的动态演变如何？
• RQ4 基于动态图像的数据增强策略是否能超越标准DANN，提升域泛化性能？

主要发现

• 在PACS数据集上，DANNCE相较基线DANN实现0.6%的平均准确率提升，且在所有域中均观察到性能改进，其中Sketch域提升达1.6%。
• 消融实验表明，DANNCE的性能提升并非仅源于高斯模糊，因为仅使用模糊而不进行图像更新会降低性能。
• 无模糊的DANNCE性能与基线DANN相当，表明核心改进源于图像空间梯度更新，而非模糊处理。
• 该方法在真实DG设置中成功提升了泛化性能，因为超参数通过留一源交叉验证选择，且排除了未见目标域。
• 理论分析证实，与更接近目标分布的参考对象对齐可获得更紧致的目标误差界。
• 目标误差界在训练过程中的动态行为支持采用自适应、基于数据增强的方法（如DANNCE）在DG中的必要性。