[论文解读] Domain Generalization via Conditional Invariant Representation

Ya Li, Mingming Gong+3 more|arXiv (Cornell University)|Jul 23, 2018

Domain Adaptation and Few-Shot Learning被引用 29

一句话总结

本文提出条件不变域泛化（CIDG），一种通过学习跨域不变的类别条件分布 𝕡(h(X)|Y) 的特征表示方法，实现当输入分布和条件标签分布同时发生偏移时的鲁棒泛化。实验表明，CIDG 在合成数据集和真实世界数据集上均优于现有方法，尤其在非独立同分布（non-i.i.d.）数据偏移场景下表现更优，此时先前假设 𝕡(Y|X) 稳定的条件不成立。

ABSTRACT

Domain generalization aims to apply knowledge gained from multiple labeled source domains to unseen target domains. The main difficulty comes from the dataset bias: training data and test data have different distributions, and the training set contains heterogeneous samples from different distributions. Let $X$ denote the features, and $Y$ be the class labels. Existing domain generalization methods address the dataset bias problem by learning a domain-invariant representation $h(X)$ that has the same marginal distribution $\mathbb{P}(h(X))$ across multiple source domains. The functional relationship encoded in $\mathbb{P}(Y|X)$ is usually assumed to be stable across domains such that $\mathbb{P}(Y|h(X))$ is also invariant. However, it is unclear whether this assumption holds in practical problems. In this paper, we consider the general situation where both $\mathbb{P}(X)$ and $\mathbb{P}(Y|X)$ can change across all domains. We propose to learn a feature representation which has domain-invariant class conditional distributions $\mathbb{P}(h(X)|Y)$. With the conditional invariant representation, the invariance of the joint distribution $\mathbb{P}(h(X),Y)$ can be guaranteed if the class prior $\mathbb{P}(Y)$ does not change across training and test domains. Extensive experiments on both synthetic and real data demonstrate the effectiveness of the proposed method.

研究动机与目标

• 解决当 𝕡(X) 和 𝕡(Y|X) 在不同域之间发生变化时的域泛化问题，挑战了 𝕡(Y|X) 稳定的常见假设。
• 开发一种方法，通过学习具有不变 𝕡(h(X)|Y) 的表示来确保联合分布 𝕡(h(X),Y) 的不变性。
• 消除对 𝕡(Y|X) 在不同域之间保持稳定的假设依赖，该假设在真实世界因果结构（如 Y→X）中常不成立。
• 通过显式正则化类别条件分布的不变性，提升在未见目标域上的泛化性能。

提出的方法

• 提出一种表示学习框架，通过最小化源域之间类别条件分布 𝕡(h(X)|Y) 的方差来实现。
• 引入基于类别先验归一化边缘分布 𝕡_N(h(X)) 方差的正则化项，以减少全局分布差异。
• 通过类别先验的归一化，减轻 𝕡(Y) 在不同域之间发生偏移的影响。
• 引入受核费雪判别分析启发的类内与类间距离约束，以保持判别能力。
• 所有实验均采用 RBF 核方法计算核矩阵，最终分类使用 KNN。
• 通过结合分布不变性与判别学习的目标函数优化，平衡鲁棒性与准确性。

实验结果

研究问题

• RQ1 当输入分布 𝕡(X) 和条件标签分布 𝕡(Y|X) 在不同域之间均发生偏移时，能否提升域泛化性能？
• RQ2 强制类别条件分布 𝕡(h(X)|Y) 的不变性是否能带来比仅强制边缘分布不变性 𝕡(h(X)) 更好的泛化效果？
• RQ3 在 𝕡(Y|X) 不稳定的现实分布偏移场景下，所提方法相较于现有域泛化方法表现如何？
• RQ4 类别先验偏移对域泛化模型性能有何影响？如何有效缓解这一影响？

主要发现

• 在合成数据上，CIDG 达到 86.67% 的准确率，显著优于 KPCA、DICA 和 SCA，后三者表现出聚类效果差或类别表示混杂的问题。
• 在 VLCS 数据集上，CIDG 在 10 项域泛化任务中的 9 项上表现最佳，证明其在多样化图像域中的鲁棒性。
• 在 Office+Caltech 数据集上，CIDG 在 10 项任务中的 9 项上取得最优结果，验证了其在复杂真实世界分布偏移下的优越性。
• 当类别条件分布发生偏移时，KPCA 和 DICA 等方法泛化能力差，凸显了仅依赖边缘不变性的局限性。
• 即使在源域与目标域之间类别先验分布 𝕡(Y) 保持不变的情况下（如理论框架所假设），该方法仍保持强大性能。
• 正则化项中引入类别先验归一化，有效降低了类别先验偏移对域分布的影响，提升了泛化稳定性。