[论文解读] Domain Generalization by Learning and Removing Domain-specific Features

Yu Ding, Lei Wang+4 more|arXiv (Cornell University)|Dec 14, 2022

Domain Adaptation and Few-Shot Learning被引用 22

一句话总结

本文提出 LRDG，一种通过领域特定分类器和编码器–解码器显式去除领域特征以学习领域不变模型的框架，在多个基准测试中达到最前沿的结果。

ABSTRACT

Deep Neural Networks (DNNs) suffer from domain shift when the test dataset follows a distribution different from the training dataset. Domain generalization aims to tackle this issue by learning a model that can generalize to unseen domains. In this paper, we propose a new approach that aims to explicitly remove domain-specific features for domain generalization. Following this approach, we propose a novel framework called Learning and Removing Domain-specific features for Generalization (LRDG) that learns a domain-invariant model by tactically removing domain-specific features from the input images. Specifically, we design a classifier to effectively learn the domain-specific features for each source domain, respectively. We then develop an encoder-decoder network to map each input image into a new image space where the learned domain-specific features are removed. With the images output by the encoder-decoder network, another classifier is designed to learn the domain-invariant features to conduct image classification. Extensive experiments demonstrate that our framework achieves superior performance compared with state-of-the-art methods.

研究动机与目标

• 需要动机：需要能够泛化到未见领域且不依赖于纹理或背景等领域特定线索的领域通用模型。
• 提出一种显式去除领域特征以提升对未见领域的泛化能力的方法。
• 在标准领域泛化基准上证明框架的有效性，并通过泛化风险界给出理论论证。
• 展示去除领域特征如何降低领域差异并提升目标域性能。

提出的方法

• 训练 N 个领域特定分类器，每个分类器专注于在一个源领域内进行判别，同时无法在其他源领域进行判别。
• 冻结领域特定分类器，训练一个编码器–解码器 M 将输入映射到一个尽量减小领域特征的空间，辅以基于不确定性的损失。
• 在编码后的输出上使用一个域不变分类器 F，学习跨领域的特征表示。
• 优化损失的组合：L1 = 针对领域特定分类器的分类加上不确定性；L2 = 针对域不变模型的分类加上不确定性再加重建。
• 通过一个泛化风险界提供理论解释，表明在去除领域特征时，领域差异（epsilon）和目标域差距（gamma）下降。

实验结果

研究问题

• RQ1 显式去除领域特征是否可以提升对未见领域的泛化能力？
• RQ2 领域特定分类器加编码器–解码器是否能够在抑制领域特征的同时保留领域不变信息？
• RQ3 与最先进方法相比，所学习的领域不变模型在未见领域是否具有更好表现？

主要发现

• LRDG 在三个领域泛化基准上使用多种骨干网络时表现优越或具有竞争力。
• 去除领域特征降低了映射数据上 proxy A-distance 的两两领域差异。
• 应用 LRDG 后，目标域到最近混合源域的差异下降，表明对齐得到改善。
• 实验证明 LR DG 在 PACS、VLCS、Office-Home 数据集上对多种骨干网络均优于或接近最先进方法。
• 理论分析将 LRDG 与领域泛化风险界联系起来，认为去除领域特征会降低界中的 gamma 和 epsilon。