[论文解读] Learning Causal Semantic Representation for Out-of-Distribution Prediction

Chang Liu, Xinwei Sun+5 more|arXiv (Cornell University)|Jan 1, 2020

Domain Adaptation and Few-Shot Learning参考文献 126被引用 48

一句话总结

论文提出一个 Causal Semantic Generative Model (CSG)，将语义因子与变异因子分离，以实现鲁棒的 OOD 预测和领域自适应，利用因果不变性，并具备理论可识别性保证。

ABSTRACT

Conventional supervised learning methods, especially deep ones, are found to be sensitive to out-of-distribution (OOD) examples, largely because the learned representation mixes the semantic factor with the variation factor due to their domain-specific correlation, while only the semantic factor causes the output. To address the problem, we propose a Causal Semantic Generative model (CSG) based on a causal reasoning so that the two factors are modeled separately, and develop methods for OOD prediction from a single training domain, which is common and challenging. The methods are based on the causal invariance principle, with a novel design in variational Bayes for both efficient learning and easy prediction. Theoretically, we prove that under certain conditions, CSG can identify the semantic factor by fitting training data, and this semantic-identification guarantees the boundedness of OOD generalization error and the success of adaptation. Empirical study shows improved OOD performance over prevailing baselines.

研究动机与目标

• 激发并定义由于表示中的语义-变异纠缠导致的 OOD 易感性问题。
• 提出一个因果生成框架，将语义因子与变异因子分离以实现鲁棒预测。
• 在某些条件下证明单一训练域下语义因子可识别的理论可识别性。
• 在 CSG 框架内开发基于变分贝叶斯的方法用于 OOD 泛化与领域自适应。
• 在真实世界的图像分类任务中展示相对于基线的实证改进。

提出的方法

• 提出 Causal Semantic Generative Model (CSG)，其 p(s,v)、p(x|s,v)、p(y|s) 用于将语义与变异潜在因子分离。
• 采用因果不变性原理：p(x|s,v) 和 p(y|s) 在领域上不变，而先验 p(s,v) 在各领域之间改变。
• 使用依赖辅助 q(s,v,y|x) 的改写 ELBO 目标，以在不需要两个独立推理模型的情况下实现预测和学习。
• 引入 CSG-ind 与 CSG-DA 变体，通过对测试域的 (s,v) 先验进行改变以提升 OOD 泛化并实现领域自适应。
• 提供一个训练目标，使训练域学习与测试域预测通过对潜在因子进行 do-类型干预保持一致。

实验结果

研究问题

• RQ1 在单一训练域下，语义因子 s 是否能够在与变异因子 v 的相关性存在的情况下被识别？
• RQ2 语义识别如何影响对跨分布泛化误差的界？
• RQ3 在因果不变性下，模型是否可以通过协变量偏移实现鲁棒的 OOD 泛化和领域自适应？
• RQ4 采用测试域先验（CSG-ind/CSG-DA）相较于不变性推断方法在 OOD 任务上的实际优势是什么？
• RQ5 如何对变分贝叶斯进行定制以高效地学习 CSG 表示以用于 OOD 任务？

主要发现

• 在某些加性噪声和双射假设下，CSG 可以识别语义因子。
• 语义识别导致对 OOD 泛化误差的有界性，并使领域自适应预测更为准确。
• 基于 CSG 的方法在真实世界的图像分类任务上比基线具有更好的 OOD 性能。
• 基于因果不变性的训练目标结合测试域先验，在领域漂移下提供可靠的预测。
• 该方法在仅用一个训练域的情况下实现预测，而无需在训练数据中进行多域或干预。