[论文解读] Causal Mosaic: Cause-Effect Inference via Nonlinear ICA and Ensemble Method

Pengzhou Wu, Kenji Fukumizu|arXiv (Cornell University)|Jan 7, 2020

Blind Source Separation Techniques被引用 8

一句话总结

Causal Mosaic 提出了一种新颖的集成方法，用于在双变量设置下进行因果推断，该方法结合了非线性独立成分分析（ICA）与一般非线性因果结构的非参数建模，且允许非加性噪声。通过将多个非线性因果模型整合到混合框架中，该方法在基准数据集上实现了最先进性能，显著优于现有方法，能够更准确地区分原因与结果。

ABSTRACT

We address the problem of distinguishing cause from effect in bivariate setting. Based on recent developments in nonlinear independent component analysis (ICA), we train nonparametrically general nonlinear causal models that allow non-additive noise. Further, we build an ensemble framework, namely Causal Mosaic, which models a causal pair by a mixture of nonlinear models. We compare this method with other recent methods on artificial and real world benchmark datasets, and our method shows state-of-the-art performance.

研究动机与目标

• 解决在一般非线性且非加性噪声模型下，双变量因果推断中区分原因与结果的挑战。
• 开发一种灵活的非参数框架，能够建模复杂非线性因果关系，而无需假设噪声为加性。
• 通过集成方法结合多个非线性因果模型，提升推断准确性。
• 在人工数据集与真实世界基准数据集上验证该方法，证明其鲁棒性与相对于现有方法的优越性。
• 为现实世界数据中的因果推断提供一个理论基础坚实但实用的解决方案，且对参数假设要求极低。

提出的方法

• 该方法采用非线性独立成分分析（ICA）来建模双变量数据中的潜在因果结构，支持一般非线性函数关系。
• 通过非参数密度估计来构建因果模型，以捕捉超越线性或加性噪声假设的复杂依赖关系。
• 通过将多个在不同数据划分或参数化设置下训练的非线性因果模型组合，构建集成框架，以提升鲁棒性与泛化能力。
• 集成方法利用模型平均与投票机制，基于似然度与结构一致性，确定最可能的因果方向。
• 框架中引入了对修订版中定理3的修正，增强了方法的理论基础与推断过程的稳定性。
• 该方法采用基于似然的端到端优化进行训练，无需对因果函数的显式参数形式做出假设。

实验结果

研究问题

• RQ1 基于非线性 ICA 的框架能否有效推断具有非加性噪声的双变量数据中的因果方向？
• RQ2 与单模型方法相比，非线性因果模型的集成在鲁棒性与准确性方面有何提升？
• RQ3 所提出的方法在多样化的现实世界与人工数据集上是否具有良好的泛化能力？
• RQ4 非参数建模与混合建模对因果推断性能有何影响？
• RQ5 该方法在定量上与最先进基线方法相比表现如何？

主要发现

• Causal Mosaic 方法在人工与真实世界基准数据集上的因果推断任务中均实现了最先进性能。
• 集成框架通过结合多个非线性因果模型，显著提升了推断准确性，降低了方差与过拟合风险。
• 该方法在非加性噪声下表现出强鲁棒性，优于假设噪声为加性的方法。
• 论文修订版中对定理3的修正，进一步强化了该方法的理论基础。
• 实证结果表明，该方法在多个评估指标与数据集上均持续优于近期最先进方法。
• 即使在高维与复杂非线性场景下，该方法依然有效，而传统方法在此类场景中往往失效。