[论文解读] Domain Generalization Using a Mixture of Multiple Latent Domains

Toshihiko Matsuura, Tatsuya Harada|arXiv (Cornell University)|Nov 18, 2019

Domain Adaptation and Few-Shot Learning参考文献 33被引用 25

一句话总结

该论文提出了一种新颖的域泛化方法，适用于存在多个未标记潜在域混合的场景，其中域身份未知。通过利用卷积神经网络统计量提取的风格特征对样本进行聚类以形成伪域，并采用对抗性学习训练域不变特征提取器，该方法在无需域标签的情况下实现了最先进性能，优于依赖真实域标注的传统方法。

ABSTRACT

When domains, which represent underlying data distributions, vary during training and testing processes, deep neural networks suffer a drop in their performance. Domain generalization allows improvements in the generalization performance for unseen target domains by using multiple source domains. Conventional methods assume that the domain to which each sample belongs is known in training. However, many datasets, such as those collected via web crawling, contain a mixture of multiple latent domains, in which the domain of each sample is unknown. This paper introduces domain generalization using a mixture of multiple latent domains as a novel and more realistic scenario, where we try to train a domain-generalized model without using domain labels. To address this scenario, we propose a method that iteratively divides samples into latent domains via clustering, and which trains the domain-invariant feature extractor shared among the divided latent domains via adversarial learning. We assume that the latent domain of images is reflected in their style, and thus, utilize style features for clustering. By using these features, our proposed method successfully discovers latent domains and achieves domain generalization even if the domain labels are not given. Experiments show that our proposed method can train a domain-generalized model without using domain labels. Moreover, it outperforms conventional domain generalization methods, including those that utilize domain labels.

研究动机与目标

• 解决源数据由多个未知域混合而成、且缺乏已知域标签的真实场景下的域泛化问题。
• 开发一种方法，利用图像风格作为域身份的代理，从无标签数据中自动发现潜在域。
• 在不依赖真实域标注的前提下训练域不变特征提取器，以提升模型在未见目标域上的泛化能力。
• 评估基于风格特征聚类得到的伪域标签是否能在模型性能上超越人工标注的域标签。

提出的方法

• 使用卷积层统计量（均值与标准差）堆叠提取具有域判别能力的特征，这些特征已知可捕捉图像风格。
• 通过k-means或类似方法对提取的风格特征进行聚类，为样本分配伪域标签。
• 在训练过程中迭代重新分配伪域标签，基于模型学习到的特征动态优化聚类分配。
• 通过对抗性学习联合训练共享特征提取器，以最小化所有伪域之间的域差异。
• 引入熵损失以鼓励模型做出置信预测，提升训练过程中的鲁棒性。
• 采用两阶段训练流程：首先使用初始特征对样本进行聚类，然后在多个训练周期内联合优化特征提取器与伪标签。

实验结果

研究问题

• RQ1 在训练过程中完全无域标签的情况下，域泛化模型是否仍能实现高性能？
• RQ2 基于风格特征的聚类能否有效发现混合源数据中的潜在域结构？
• RQ3 由学习特征导出的伪域标签是否能在泛化性能上超越人工标注的域标签？
• RQ4 该方法对假设的伪域数量错误或变化的鲁棒性如何？
• RQ5 与静态标签相比，伪域标签的迭代重分配是否能提升模型性能？

主要发现

• 所提方法在PACS等基准数据集上实现了最先进性能，且完全未使用任何域标签，优于依赖此类标签的传统域泛化方法。
• 消融实验表明，若移除对抗性损失或熵损失，性能显著下降，证实二者在域泛化中的关键作用。
• 使用基于风格的特征进行聚类，相比原始卷积特征，能更准确地发现潜在域，表现为与原始域的NMI更高。
• 该方法对伪域数量具有鲁棒性：即使假设的伪域数量与真实原始域数量不一致，分类准确率仍保持稳定。
• 与固定标签相比，伪域标签的迭代重分配能提升性能，表明动态优化有助于提升特征解耦效果。
• 在整个训练过程中，伪域标签与原始域之间的NMI保持较高水平，证实聚类能按域分离样本，而非按物体类别。