[论文解读] Learning to Diversify for Single Domain Generalization

Zijian Wang, Yadan Luo+3 more|arXiv (Cornell University)|Aug 26, 2021

Domain Adaptation and Few-Shot Learning参考文献 51被引用 4

一句话总结

本文提出了一种名为 Learning-to-Diversify (L2D) 的新方法，用于单域泛化（Single-DG），通过风格互补模块从单一源域生成多样化的、分布外的图像。通过迭代最小化生成样本与源样本之间的互信息（以实现多样性），并最大化同类别样本间的互信息（以实现不变性），该模型实现了最先进性能，在基准数据集上的准确率超越了先前方法高达 25.14%。

ABSTRACT

Domain generalization (DG) aims to generalize a model trained on multiple source (i.e., training) domains to a distributionally different target (i.e., test) domain. In contrast to the conventional DG that strictly requires the availability of multiple source domains, this paper considers a more realistic yet challenging scenario, namely Single Domain Generalization (Single-DG), where only one source domain is available for training. In this scenario, the limited diversity may jeopardize the model generalization on unseen target domains. To tackle this problem, we propose a style-complement module to enhance the generalization power of the model by synthesizing images from diverse distributions that are complementary to the source ones. More specifically, we adopt a tractable upper bound of mutual information (MI) between the generated and source samples and perform a two-step optimization iteratively: (1) by minimizing the MI upper bound approximation for each sample pair, the generated images are forced to be diversified from the source samples; (2) subsequently, we maximize the MI between the samples from the same semantic category, which assists the network to learn discriminative features from diverse-styled images. Extensive experiments on three benchmark datasets demonstrate the superiority of our approach, which surpasses the state-of-the-art single-DG methods by up to 25.14%.

研究动机与目标

• 为解决训练时仅有一个源域可用（即单域泛化，Single-DG）时的域泛化挑战。
• 克服单域泛化中数据多样性有限的问题，该问题会阻碍模型在未见目标域上的泛化能力。
• 通过生成多样化的、分布外的图像来提升模型鲁棒性，使分类器在训练过程中面临更具挑战性的样本。
• 通过最大化同类别样本间的互信息，学习风格不变的表征。
• 构建一个最小-最大优化框架，交替提升样本多样性与特征可分性。

提出的方法

• 引入风格互补模块，以合成原始源域中不存在的新颖、多样化风格的图像。
• 采用互信息（MI）的可计算上界，以在潜在空间中强制生成样本与源样本之间的多样性。
• 通过两步迭代优化：首先最小化生成样本与源样本对之间的互信息，以最大化分布差异。
• 随后最大化同语义类别样本间的互信息，以学习具有判别性的、风格不变的特征。
• 风格互补模块与主任务模型之间进行最小-最大博弈，其中生成图像作为对抗性挑战，以提升泛化能力。
• 端到端训练框架，损失函数结合了通过互信息最小化实现的多样性目标与通过互信息最大化实现的不变性目标。

实验结果

研究问题

• RQ1 当训练时仅有一个源域可用时，单域泛化模型能否实现强大的泛化性能？
• RQ2 在缺乏多个源域的情况下，如何实现有效的数据增强以模拟域偏移？
• RQ3 互信息优化在多大程度上能增强单域泛化中的特征鲁棒性与模型泛化能力？
• RQ4 生成多样化的、分布外的图像是否能提升模型对未见目标域的泛化能力？
• RQ5 在缺乏域标识符的情况下，多样性与不变性学习之间的相互作用如何影响性能？

主要发现

• 所提出的 L2D 方法在三个基准数据集（数字识别、损坏的 CIFAR-10 和 PACS）上实现了最先进性能，准确率超越现有单域泛化方法高达 25.14%。
• 消融研究显示，移除风格互补模块会导致性能显著下降，证实其在提升泛化能力中的关键作用。
• 移除风格修改或互信息优化组件后，性能分别下降 1.35% 和 3.76%，表明两个组件均至关重要。
• 敏感性分析表明，使用 k=6 种变换可实现最优多样性，性能在 k>5 后趋于稳定，并在 α₁=α₂=1 时达到峰值。
• t-SNE 可视化结果表明，L2D 生成的类别聚类更紧密、分离度更高，表明特征可分性与域不变性均得到提升。
• 该方法在留一域排除协议下的标准域泛化任务中也表现出良好泛化能力，验证了其在单域泛化之外的更广泛应用潜力。