[论文解读] Invariant Learning via Probability of Sufficient and Necessary Causes

Mengyue Yang, Zhen Fang+6 more|arXiv (Cornell University)|Sep 22, 2023

Domain Adaptation and Few-Shot Learning被引用 6

一句话总结

该论文提出了一种新颖的不变性学习框架，利用充分性与必要性概率（PNS）识别对分布外（OOD）泛化既必要又充分的因果表征。通过引入PNS风险目标并理论化其泛化差距，该方法学习到稳健且解耦的表征，在合成数据与真实世界基准上均显著优于当前最先进方法，提升了OOD泛化性能。

ABSTRACT

Out-of-distribution (OOD) generalization is indispensable for learning models in the wild, where testing distribution typically unknown and different from the training. Recent methods derived from causality have shown great potential in achieving OOD generalization. However, existing methods mainly focus on the invariance property of causes, while largely overlooking the property of extit{sufficiency} and extit{necessity} conditions. Namely, a necessary but insufficient cause (feature) is invariant to distribution shift, yet it may not have required accuracy. By contrast, a sufficient yet unnecessary cause (feature) tends to fit specific data well but may have a risk of adapting to a new domain. To capture the information of sufficient and necessary causes, we employ a classical concept, the probability of sufficiency and necessary causes (PNS), which indicates the probability of whether one is the necessary and sufficient cause. To associate PNS with OOD generalization, we propose PNS risk and formulate an algorithm to learn representation with a high PNS value. We theoretically analyze and prove the generalizability of the PNS risk. Experiments on both synthetic and real-world benchmarks demonstrate the effectiveness of the proposed method. The details of the implementation can be found at the GitHub repository: https://github.com/ymy4323460/CaSN.

研究动机与目标

• 解决现有不变性学习方法仅关注不变原因而忽略充分性与必要性条件的局限性。
• 通过识别对准确预测既必要又充分的表征，提升分布外（OOD）泛化性能。
• 形式化一种新的风险目标——PNS风险，用于量化特征作为必要且充分原因的概率。
• 在OOD设置下，理论化源域与测试域PNS风险之间泛化差距的边界。
• 开发一种算法，学习PNS风险较低的表征，确保在未见分布下的稳定性与鲁棒性。

提出的方法

• 提出一种新的风险目标PNS风险，定义为特征对预测标签既必要又充分的概率。
• 利用反事实推理，基于已知因果图从观测数据中估计PNS值。
• 利用PAC学习框架，推导PNS风险在源域与测试域之间泛化差距的理论边界。
• 设计一种优化算法，在表征学习过程中最小化PNS风险，从而提升对分布偏移的鲁棒性。
• 在语义可分的表征空间中实现该方法，强制满足单调性与外生性条件。
• 采用类似对比学习的目标函数，但其基础是反事实PNS推理，而非实例级别的对比性。

Figure 1: (a) Examples for causal sufficiency and necessity in the cat classification. (b) The causal graph for OOD generalization problem. The arrows denote the causal generative direction and the dashed line connects the spurious correlated variables. Notations are formally defined in Section 2.1

实验结果

研究问题

• RQ1 PNS风险能否作为可靠代理，用于识别对预测既必要又充分的因果特征？
• RQ2 在分布偏移下，源域上的PNS风险与未见测试域上的PNS风险之间有何关系？
• RQ3 与现有不变风险最小化方法相比，最小化PNS风险是否能带来更好的OOD泛化性能？
• RQ4 基于PNS风险训练的模型，其泛化性能可提供哪些理论保证？
• RQ5 在合成数据与真实世界数据上，该方法与当前最先进OOD泛化基线相比，实证表现如何？

主要发现

• 所提方法在合成与真实世界OOD泛化基准上均达到最先进性能，展现出卓越的鲁棒性。
• 理论分析表明，源域上的PNS风险能紧密逼近未见测试域上的风险。
• 实验结果证实，低PNS风险的表征在分布偏移下泛化能力更强，尤其在最坏情况表现更优。
• 该方法成功捕捉了必要且充分的因果特征，避免了对虚假相关性的依赖。
• GitHub代码实现（https://github.com/ymy4323460/CaSN）支持结果复现，并推动因果表征学习的进一步研究。

(a) Spurious degree $s=0.1$