[论文解读] Causal Inference and Mechanism Clustering of A Mixture of Additive Noise Models

Shoubo Hu, Zhitang Chen+3 more|arXiv (Cornell University)|Sep 23, 2018

Gaussian Processes and Bayesian Inference被引用 12

一句话总结

本文提出一种加性噪声模型混合模型（ANM-MM），用于解决源自多种异质因果过程的数据中的因果推断与机制聚类问题。通过将高斯过程潜在变量模型（GP-LVM）扩展为高斯过程部分可观察模型（GPPOM），该方法实现了因果方向识别与基于潜在机制的观测聚类，在合成数据和真实世界数据（包括瑞士两个地区的空气质量数据）上均实现了100%的因果推断准确率和稳健的聚类性能。

ABSTRACT

The inference of the causal relationship between a pair of observed variables is a fundamental problem in science, and most existing approaches are based on one single causal model. In practice, however, observations are often collected from multiple sources with heterogeneous causal models due to certain uncontrollable factors, which renders causal analysis results obtained by a single model skeptical. In this paper, we generalize the Additive Noise Model (ANM) to a mixture model, which consists of a finite number of ANMs, and provide the condition of its causal identifiability. To conduct model estimation, we propose Gaussian Process Partially Observable Model (GPPOM), and incorporate independence enforcement into it to learn latent parameter associated with each observation. Causal inference and clustering according to the underlying generating mechanisms of the mixture model are addressed in this work. Experiments on synthetic and real data demonstrate the effectiveness of our proposed approach.

研究动机与目标

• 解决单因果模型方法在现实世界数据中的局限性，其中观测值源自多种异质因果机制。
• 在一般条件下形式化一种可识别因果方向的加性噪声模型混合模型（ANM-MM）。
• 开发一种方法，根据观测值的潜在数据生成机制进行聚类，即使机制仅在参数值上有所不同亦可实现。
• 在混合数据源、连续变量及不同噪声水平存在的情况下，实现稳健的因果推断与机制聚类。

提出的方法

• 提出一种加性噪声模型混合模型（ANM-MM），其中每个分量具有相同的函数形式但参数值（θ）不同，θ从有限机制集合上的离散分布中抽取。
• 引入高斯过程部分可观察模型（GPPOM），作为GP-LVM的变体，用于估计潜在表示并推断每个观测的参数。
• 在GPPOM框架中引入噪声项ε与原因X之间的统计独立性约束，以确保模型可识别性与一致性。
• 利用学习到的潜在表示与参数估计，同时实现因果方向推断与基于潜在机制的观测聚类。
• 采用基于似然的优化框架，联合估计潜在变量、机制参数与混合比例。
• 通过调整兰指数（ARI）与因果推断准确率对聚类效果进行评估，以验证性能。

实验结果

研究问题

• RQ1 在由不同参数值的多种机制生成的数据中，能否在加性噪声模型混合模型中识别出因果方向？
• RQ2 即使函数形式相同且噪声水平不同，能否有效聚类源自同一潜在机制的观测？
• RQ3 该方法对机制数量、混合比例与噪声标准差变化的鲁棒性如何？
• RQ4 在具有异质数据源的真实世界数据中，该方法能否优于现有因果推断与聚类技术？

主要发现

• 在一般条件下，ANM-MM中的因果方向具有可识别性，所提方法在所有测试的合成数据场景中均实现了100%的因果推断准确率。
• 在合成数据上，当机制数量从2增加到3时，ANM-MM仍保持100%准确率，显著优于所有基线方法。
• 在聚类任务中，ANM-MM在真实世界BAFU空气质量数据上达到调整兰指数（ARI）0.503，显著优于k-means（ARI = -0.001）、GMM（0.003）、谱聚类（0.078）与DBSCAN（0.003）。
• 该方法对噪声标准差与混合比例变化具有鲁棒性，ANM-MM保持高性能，而其他方法性能显著下降。
• 在图宾根因果-效应基准测试中，ANM-MM的中位准确率约为82%，为所有对比方法中的最高值。
• 该方法成功揭示了空气质量数据中的基于地理位置的机制，通过聚类正确识别出瑞士两个不同地区的数据，而其他方法未能捕捉此类结构。