[论文解读] Domain Generalisation via Domain Adaptation: An Adversarial Fourier Amplitude Approach

Minyoung Kim, Da Li+1 more|arXiv (Cornell University)|Feb 23, 2023

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

该论文提出AGFA，一种新颖的域泛化方法，通过使用傅里叶振幅操控合成最坏情况的目标域，将域泛化建模为对抗性域自适应。通过将源域相位与对抗性训练的、风格改变的傅里叶振幅相结合，并利用贝叶斯最大分类器差异（MCD），AGFA在DomainBed和PACS基准上实现了最先进性能，在单源泛化设置下相比之前方法准确率提升高达10%。

ABSTRACT

We tackle the domain generalisation (DG) problem by posing it as a domain adaptation (DA) task where we adversarially synthesise the worst-case target domain and adapt a model to that worst-case domain, thereby improving the model's robustness. To synthesise data that is challenging yet semantics-preserving, we generate Fourier amplitude images and combine them with source domain phase images, exploiting the widely believed conjecture from signal processing that amplitude spectra mainly determines image style, while phase data mainly captures image semantics. To synthesise a worst-case domain for adaptation, we train the classifier and the amplitude generator adversarially. Specifically, we exploit the maximum classifier discrepancy (MCD) principle from DA that relates the target domain performance to the discrepancy of classifiers in the model hypothesis space. By Bayesian hypothesis modeling, we express the model hypothesis space effectively as a posterior distribution over classifiers given the source domains, making adversarial MCD minimisation feasible. On the DomainBed benchmark including the large-scale DomainNet dataset, the proposed approach yields significantly improved domain generalisation performance over the state-of-the-art.

研究动机与目标

• 为解决缺乏目标域数据时的域泛化（DG）问题，此时模型常因分布偏移而失效。
• 通过模拟最具挑战性但语义上有效的目标域来提升模型鲁棒性。
• 通过基于域自适应理论的原理性对抗框架，统一数据增强与域对齐。
• 利用傅里叶域分解——分离振幅（风格）与相位（语义）——实现语义保持的数据合成。
• 在不损害语义内容的前提下，实现对最坏情况目标数据的有效对抗训练。

提出的方法

• 该方法通过使用傅里叶振幅合成生成最坏情况目标域，将域泛化建模为对抗性域自适应。
• 其基于一个假设：傅里叶振幅控制图像风格，而相位保持语义，从而实现在不改变语义的前提下进行风格迁移。
• 采用变分贝叶斯方法将分类器的假设空间建模为后验分布，从而实现高效的最大分类器差异（MCD）最小化。
• 训练一个对抗性生成器，生成能最大化MCD的傅里叶振幅图像，以模拟最具挑战性的目标域。
• 联合训练分类器以在合成的最坏情况域上最小化MCD，从而提升鲁棒性。
• 该框架结合了振幅生成器的对抗性训练与分类器不确定性建模，确保稳定且可泛化的适应。

Figure 1: Overall training flow of the proposed approach (AGFA). We generate target-domain data by synthesizing Fourier amplitude images trained adversarially. See main text in Sec. 3 for details.

实验结果

研究问题

• RQ1 我们能否在没有真实目标数据的情况下，有效模拟一个最坏情况的目标域用于域泛化？
• RQ2 基于傅里叶振幅的数据增强是否能在引入具有挑战性的风格变化的同时保持语义内容？
• RQ3 在DG设置中，对分类器假设的贝叶斯建模是否能实现有效的最大分类器差异最小化？
• RQ4 对抗性合成最坏情况域是否能提升在多样化基准上的泛化性能？
• RQ5 所提出方法在标准设置与单源域泛化设置下，与最先进方法相比表现如何？

主要发现

• 在使用ResNet-18主干网络的DomainBed基准上，AGFA实现了73.8%的平均准确率，比之前最先进方法（MMD）高出0.5%。
• 在大规模DomainNet数据集上，AGFA实现了最先进性能，展现出对多样化域偏移的强鲁棒性。
• 在PACS数据集的单源泛化设置下使用ResNet-18，AGFA在平均准确率上比最佳先前方法（EFDMix）高出10.2个百分点。
• 使用ResNet-50时，AGFA实现了68.7%的平均准确率，超过EFDMix 7.5个百分点。
• 可视化分析表明，基于傅里叶的生成图像保留了显著的语义边缘，而基于像素的生成器则产生随机噪声。
• 消融研究显示，贝叶斯MCD与傅里叶振幅合成的结合对性能至关重要，每个组件均对鲁棒性有显著贡献。

Figure 2: Illustration of the SMCD loss on three different hypothesis spaces $\mathcal{H}_{|S}$ shown in three panels. For $C=3$ -way classification case, each panel shows the class logit scores (Gaussian random) $f_{j}(x)\sim\mathcal{N}(\mu_{j}(x),\sigma_{j}(x)^{2})$ for $j=1,2,3$ , at some input $