[論文レビュー] Interventions and Counterfactuals in Tractable Probabilistic Models: Limitations of Contemporary Transformations

Ioannis Papantonis, Vaishak Belle|arXiv (Cornell University)|Jan 29, 2020

Bayesian Modeling and Causal Inference参考文献 27被引用数 4

ひとこと要約

この論文は、和積ネットワーク（SPNs）や確率的センテンシャル意思決定図（PSDDs）といった tractable な確率的モデルが、介入や反事後的推論を含む因果的推論をサポートできるかを調査する。SPNs は潜在的要因に依存するため、非自明な因果的推論をサポートできないことが示され、PSDDs は元の変数ではなく拡張された変数に介入することで限定的な因果的意味論を実現するにとどまる。

ABSTRACT

In recent years, there has been an increasing interest in studying causality-related properties in machine learning models generally, and in generative models in particular. While that is well motivated, it inherits the fundamental computational hardness of probabilistic inference, making exact reasoning intractable. Probabilistic tractable models have also recently emerged, which guarantee that conditional marginals can be computed in time linear in the size of the model, where the model is usually learned from data. Although initially limited to low tree-width models, recent tractable models such as sum product networks (SPNs) and probabilistic sentential decision diagrams (PSDDs) exploit efficient function representations and also capture high tree-width models. In this paper, we ask the following technical question: can we use the distributions represented or learned by these models to perform causal queries, such as reasoning about interventions and counterfactuals? By appealing to some existing ideas on transforming such models to Bayesian networks, we answer mostly in the negative. We show that when transforming SPNs to a causal graph interventional reasoning reduces to computing marginal distributions; in other words, only trivial causal reasoning is possible. For PSDDs the situation is only slightly better. We first provide an algorithm for constructing a causal graph from a PSDD, which introduces augmented variables. Intervening on the original variables, once again, reduces to marginal distributions, but when intervening on the augmented variables, a deterministic but nonetheless causal-semantics can be provided for PSDDs.

研究の動機と目的

• 和積ネットワーク（SPNs）や確率的センテンシャル意思決定図（PSDDs）といった tractable な確率的モデルが、標準的な確率的条件付き確率を超えた因果的推論をサポートできるかどうかを評価すること。
• これらのモデルを因果的グラフに変換する際の制限を、介入および反事後的推論の文脈で調査すること。
• SPNs や PSDDs が有する構造的および確率的性質が、特に介入および反事後的クエリにおいて意味のある因果的意味論を可能にするかどうかを特定すること。
• PSDDs が論理的構造を持つことから、拡張変数を介して非自明な因果的推論を拡張可能かどうかを検討すること。
• 計算上の利点と固有の構造的制約を鑑みたとき、tractable モデルが因果的推論の基盤として実現可能かどうかを評価すること。

提案手法

• SPNs からベイジアンネットワーク（BNs）への変換手法を適応し、因果的表現力を分析。介入がマージナル化に帰着することを示した。
• 論理的依存関係を符号化するために拡張変数を導入することで、PSDD から構造的因果モデル（SCM）を構築するためのアルゴリズムを提案した。
• 構築された SCMs を用いて、do 計算のクエリである Pr(y|do(x)) および Pr(y|do(x), x*) を計算することで、介入の意味論を分析した。
• ネットワーク多項式および算術回路の意味論を用いて、条件付き分布および介入分布を効率的に計算した。
• 拡張変数に介入した場合の反事後的分布を、条件付き分布および周辺分布と比較することで、PSDDs における非自明な因果的意味論の存在を示した。
• 因果的グラフのノイズの欠如および構造的奇妙さ（特に PSDDs において顕著）を評価し、解釈可能性および実用性を検討した。

実験結果

リサーチクエスチョン

• RQ1 和積ネットワーク（SPNs）や確率的センテンシャル意思決定図（PSDDs）といった tractable な確率的モデルが、介入や反事後的推論といった非自明な因果的推論をサポートできるか。
• RQ2 SPNs をベイジアンネットワークに変換するプロセスが、介入クエリにおける因果的意味論をどの程度保持するか。
• RQ3 PSDDs が元の変数に介入する場合に因果的意味論をサポートできるか、それともモデル構築時に導入された拡張変数にしか介入できないか。
• RQ4 SPNs が因果的関係を表現できない理由は何か。特に、潜在的要因への依存性といった構造的性質がその制限要因であるか。
• RQ5 PSDD から意味のある反事後的推論をサポートする因果的グラフを構築可能か。また、標準的な因果的モデルと比較してどのように異なるか。

主な発見

• SPNs における元の変数への介入は、すべてマージナル分布の計算に帰着するため、SPNs は非自明な因果的推論をサポートできない。
• PSDDs においても、元の変数に介入すると同様にマージナル化に帰着するため、SPNs と同様に因果的表現力が制限される。
• PSDDs において拡張変数に介入すると、決定的ではあるが意味のある因果的意味論が出現し、非自明な反事後的推論が可能になる。
• 反事後的確率 Pr(X₉=1|do(A=1), X₉=0) は約 0.13 と算出され、条件付き確率 Pr(X₉|A=1) や周辺確率 Pr(X₉) と顕著に異なることが示された。
• PSDDs における結果の因果的グラフにはノイズ変数が存在しないため、構造的に異常であり、解釈可能性および現実性に関する懸念を呈する。
• SPNs はすべての相関関係を潜在的要因に帰属づけるが、PSDDs は相関関係を潜在的要因に帰属づけないため、因果的表現力の面で相反する両端に位置する。