[论文解读] Interventions and Counterfactuals in Tractable Probabilistic Models: Limitations of Contemporary Transformations

Ioannis Papantonis, Vaishak Belle|arXiv (Cornell University)|Jan 29, 2020

Bayesian Modeling and Causal Inference参考文献 27被引用 4

一句话总结

本文研究了可 tractable 的概率模型（如求和-乘积网络 SPNs 和概率命题决策图 PSDDs）是否能够支持因果推理，特别是干预和反事实推理。研究发现，SPNs 由于依赖潜在因子，无法支持非平凡的因果推理；而 PSDDs 仅在对扩展变量进行干预时才能实现有限的因果语义。

ABSTRACT

In recent years, there has been an increasing interest in studying causality-related properties in machine learning models generally, and in generative models in particular. While that is well motivated, it inherits the fundamental computational hardness of probabilistic inference, making exact reasoning intractable. Probabilistic tractable models have also recently emerged, which guarantee that conditional marginals can be computed in time linear in the size of the model, where the model is usually learned from data. Although initially limited to low tree-width models, recent tractable models such as sum product networks (SPNs) and probabilistic sentential decision diagrams (PSDDs) exploit efficient function representations and also capture high tree-width models. In this paper, we ask the following technical question: can we use the distributions represented or learned by these models to perform causal queries, such as reasoning about interventions and counterfactuals? By appealing to some existing ideas on transforming such models to Bayesian networks, we answer mostly in the negative. We show that when transforming SPNs to a causal graph interventional reasoning reduces to computing marginal distributions; in other words, only trivial causal reasoning is possible. For PSDDs the situation is only slightly better. We first provide an algorithm for constructing a causal graph from a PSDD, which introduces augmented variables. Intervening on the original variables, once again, reduces to marginal distributions, but when intervening on the augmented variables, a deterministic but nonetheless causal-semantics can be provided for PSDDs.

研究动机与目标

• 评估可 tractable 的概率模型（如 SPNs 和 PSDDs）是否能够支持超出标准概率条件化的因果推断。
• 研究将这些模型转换为因果图以实现干预和反事实推理时的局限性。
• 确定 SPNs 和 PSDDs 的结构和概率属性是否允许有意义的因果语义，特别是在干预和反事实查询方面。
• 探索 PSDDs 是否因其逻辑结构，可通过扩展变量扩展为支持非平凡因果推理的模型。
• 在计算优势和内在结构约束的前提下，评估将可 tractable 模型作为因果推理基础的可行性。

提出的方法

• 通过将 SPNs 转换为贝叶斯网络（BNs）的适配方法，分析其因果表达能力，表明干预等价于边际化。
• 提出一种算法，通过引入扩展变量来编码逻辑依赖，从 PSDD 构建结构因果模型（SCM）。
• 通过计算 do-演算查询 Pr(y|do(x)) 和 Pr(y|do(x), x*)，分析干预语义，使用构建的 SCMs。
• 利用网络多项式和算术电路语义，高效计算条件分布和干预分布。
• 通过将反事实分布与条件分布和边际分布进行比较，证明在对扩展变量进行干预时，PSDDs 可实现非平凡的因果语义。
• 评估生成的因果图是否缺乏噪声变量及结构异常，特别是 PSDDs 中的情况，以评估其可解释性和实用性。

实验结果

研究问题

• RQ1 可 tractable 的概率模型（如 SPNs 和 PSDDs）是否能够支持非平凡的因果推理，如干预和反事实推理？
• RQ2 从 SPNs 到贝叶斯网络的转换在多大程度上保留了干预查询的因果语义？
• RQ3 PSDDs 在对原始变量进行干预时是否能支持因果语义，还是仅在模型构建过程中引入的扩展变量上才能实现？
• RQ4 SPNs 为何无法表达因果关系？其根本结构性限制（如依赖潜在因子）是什么？
• RQ5 能否从 PSDD 构建一个支持有意义反事实推理的因果图？其与标准因果模型相比有何异同？

主要发现

• 在 SPNs 中对原始变量进行干预等价于计算边际分布，表明 SPNs 无法支持非平凡的因果推理。
• 对于 PSDDs，对原始变量进行干预同样等价于边际化，因果表达能力受到与 SPNs 相同的限制。
• 当在 PSDDs 中对扩展变量进行干预时，会涌现出确定性但有意义的因果语义，从而支持非平凡的反事实推理。
• 反事实概率 Pr(X₉=1|do(A=1), X₉=0) 计算结果约为 0.13，显著偏离于条件概率 Pr(X₉|A=1) 和边际概率 Pr(X₉)。
• PSDDs 生成的因果图缺乏噪声变量，导致其结构异常，引发对其可解释性和真实性的担忧。
• SPNs 将所有相关性归因于潜在因子，而 PSDDs 则不将任何相关性归因于潜在因子，因此在因果表达能力上处于光谱的两端。