[论文解读] Deep Domain-Adversarial Image Generation for Domain Generalisation

Kaiyang Zhou, Yongxin Yang+2 more|arXiv (Cornell University)|Mar 12, 2020

Domain Adaptation and Few-Shot Learning参考文献 45被引用 7

一句话总结

本文提出了一种新型的域泛化方法——深度域对抗性图像生成（DDAIG），通过域变换网络（DoTNet）合成未见域的数据，以提升模型的鲁棒性。通过对抗性训练DoTNet，生成能够欺骗域分类器但保持正确类别标签的域偏移图像，DDAIG增强了分类器的泛化能力，在PACS、Office-Home和Digits-DG基准上超越了当前最先进方法。

ABSTRACT

Machine learning models typically suffer from the domain shift problem when trained on a source dataset and evaluated on a target dataset of different distribution. To overcome this problem, domain generalisation (DG) methods aim to leverage data from multiple source domains so that a trained model can generalise to unseen domains. In this paper, we propose a novel DG approach based on \emph{Deep Domain-Adversarial Image Generation} (DDAIG). Specifically, DDAIG consists of three components, namely a label classifier, a domain classifier and a domain transformation network (DoTNet). The goal for DoTNet is to map the source training data to unseen domains. This is achieved by having a learning objective formulated to ensure that the generated data can be correctly classified by the label classifier while fooling the domain classifier. By augmenting the source training data with the generated unseen domain data, we can make the label classifier more robust to unknown domain changes. Extensive experiments on four DG datasets demonstrate the effectiveness of our approach.

研究动机与目标

• 解决深度学习中的域偏移问题，即模型在未见域上因训练与测试数据分布差异而失效。
• 克服无监督域自适应和域对齐方法的局限性，后者需要目标域数据或无法泛化至源域之外的域。
• 开发一种数据增强策略，无需依赖带标签的目标域数据，即可合成逼真的未见域图像。
• 通过在源域和合成的未见域数据上联合训练，提升模型的鲁棒性。

提出的方法

• DDAIG采用联合训练框架，包含三个深度神经网络：类别分类器、域分类器和域变换网络（DoTNet）。
• DoTNet通过在源图像上应用实例特定的扰动来生成域偏移图像，目标是欺骗域分类器，同时确保类别分类器仍能正确分类。
• 该方法采用极小化-极大化目标：在原始数据和变换后数据上最小化类别分类损失，同时在变换后数据上最大化域分类损失。
• 框架通过引入空间变换网络（STN）进行扩展，以处理旋转等几何变换，从而实现对结构域偏移的图像合成。
• 训练过程端到端进行，梯度通过DoTNet反向传播，以学习有意义的、保持风格与结构的扰动。
• 该方法具有可解释性，因其直接在像素层面操作，不同于在特征层面进行域对齐的方法。

实验结果

研究问题

• RQ1 能否通过从未见域生成的合成数据提升域泛化任务中的模型泛化能力？
• RQ2 通过对抗目标训练的域变换网络在模拟真实域偏移方面有多高效？
• RQ3 所提出的方法能否泛化至源域中不存在的几何域偏移（如旋转）？
• RQ4 DDAIG在多种基准上的性能与当前最先进域泛化方法相比如何？
• RQ5 与仅使用合成数据相比，结合源域和合成未见域数据在多大程度上提升了模型鲁棒性？

主要发现

• DDAIG在PACS、Office-Home和Digits-DG基准上全面超越所有当前最先进域泛化方法，展现出对未见域更强的泛化能力。
• 在Digits-DG基准中，当MNIST图像被旋转作为目标域时，加入STN的DDAIG显著降低了性能下降，尤其在40°和50°旋转时表现更优。
• 仅在生成的未见域数据上进行训练无法带来性能提升，证实关键优势来源于源域与合成数据的联合训练。
• 可视化结果表明，生成的图像占据了域空间中原本未被填满的区域，表明有效探索了未见域流形。
• DoTNet学习到的扰动是实例特定且语义上有意义的，不同于对抗攻击方法中类似噪声的扰动，从而提升了图像真实感与域偏移模拟效果。
• 该方法不仅适用于标准的DG任务，还在标签空间不匹配的异构行人重识别任务中表现出色。