[論文レビュー] Causal Inference by Stochastic Complexity

Kailash Budhathoki, Jilles Vreeken|arXiv (Cornell University)|Feb 22, 2017

Bayesian Modeling and Causal Inference参考文献 23被引用数 4

ひとこと要約

本稿では、最小記述長（MDL）原理を用いた確率的複雑性により、因果関係の特定のためのコルモゴロフ複雑性を近似する、ciscと呼ばれる新しい因果推論手法を提案する。ミニマックス最適符号化を用いた多項分布モデルクラスにおいて、ciscは離散的単変量データに対して高い精度と線形時間スケーラビリティを達成し、合成データ、ベンチマーク、実世界のデータのすべてにおいて最先端の手法を上回り、21組の明確なベンチマークペアで100%の正確性を達成した。

ABSTRACT

The algorithmic Markov condition states that the most likely causal direction between two random variables X and Y can be identified as that direction with the lowest Kolmogorov complexity. Due to the halting problem, however, this notion is not computable. We hence propose to do causal inference by stochastic complexity. That is, we propose to approximate Kolmogorov complexity via the Minimum Description Length (MDL) principle, using a score that is mini-max optimal with regard to the model class under consideration. This means that even in an adversarial setting, such as when the true distribution is not in this class, we still obtain the optimal encoding for the data relative to the class. We instantiate this framework, which we call CISC, for pairs of univariate discrete variables, using the class of multinomial distributions. Experiments show that CISC is highly accurate on synthetic, benchmark, as well as real-world data, outperforming the state of the art by a margin, and scales extremely well with regard to sample and domain sizes.

研究の動機と目的

• 因果推論におけるコルモゴロフ複雑性の計算不能性に対処するため、情報理論に裏打ちされた計算可能な代替手法を提案すること。
• 真の分布がモデルクラスに含まれない場合でもミニマックス最適性を保証する、アルゴリズム的マルコフ条件に基づく因果推論フレームワークを構築すること。
• 多項分布を用いて単変量離散変数の文脈でこのフレームワークを具体化し、実用的有効性を示すこと。
• 合成データ、ベンチマーク、実世界データという多様なデータタイプに対して評価を行い、耐性とスケーラビリティを示すこと。
• 再現可能性とさらなる研究を支援するため、オープンソースのコードとデータを提供すること。

提案手法

• 本手法は、最小記述長（MDL）原理を用いた確率的複雑性を用いてコルモゴロフ複雑性を近似する。具体的には、与えられたモデルクラスに対してミニマックス最適な正規化最大尤度（NML）スコアを用いる。
• 単変量離散変数のペアに対しては、P(X) + P(Y|X) と P(Y) + P(X|Y) の確率的複雑性を比較し、合計複雑性が低い方の方向を因果関係の方向として選択する。
• 多項分布のための確率的複雑性は、閉形式の式を用いて効率的に計算可能であり、標本サイズおよびドメインサイズに対して線形時間の計算量を達成する。
• NMLスコアは、真の分布がモデルクラスに含まれない場合でも、そのクラスに対する相対的な符号化が最適になるように保証する。これは、ミニマックス最適性のおかげである。
• 条件付き確率的複雑性は、Xの各値ごとにYの確率的複雑性の和として定義され、依存関係の局所的モデリングを可能にする。
• このフレームワークは、cisc（確率的複雑性による因果推論）として具体化され、公開利用可能な実装が提供されている。

実験結果

リサーチクエスチョン

• RQ1 確率的複雑性は、因果推論のための計算可能で最適なコルモゴロフ複雑性の代替手段として機能するか？
• RQ2 NMLスコアのミニマックス最適性は、真のデータ生成分布がモデルクラスに含まれない場合でも、因果関係の特定を堅牢に保証するか？
• RQ3 ciscは、合成データ、ベンチマーク、実世界の離散データにおいて、最先端の手法と比較してどの程度の性能を示すか？
• RQ4 ciscは、標本サイズおよびドメインサイズの増加に対しても、効率的にスケーリング可能であり、高い正確性を維持できるか？
• RQ5 ciscは、定性的な事例研究を通じて、実世界のデータにおいて意味のある因果関係の方向を正しく特定できるか？

主な発見

• ciscは、ティービンゲンベンチマークデータセットの21組の最も信頼性の高いペアにおいて100%の正確性を達成し、離散データ向けの既存手法を著しく上回った。
• 全95組の単変量ペアからなるティービンゲンベンチマークでは、ciscは全体で67%の正確性を達成し、連続値データ向けの最先端手法と同等の性能を示した。
• モデル外の分布（例：幾何分布、超幾何分布、ポアソン分布）を含む合成データにおいても、ciscは最先端の手法を上回り、モデル誤差に対する耐性を示した。
• ciscは線形時間の計算量を示し、標本サイズおよびドメインサイズの両方に対して効率的なスケーリングが可能であり、大規模応用において実用的である。
• 3つの実世界の事例研究において、ciscはすべてのケースで正しい因果関係の方向を同定した—教育と職業の両方が、収入を結果として正しく予測した。
• この手法のミニマックス最適性のおかげで、真の分布が多項分布モデルクラスに含まれない場合でも、そのクラスに対する符号化が最適なままであり、これが耐性の根拠となっている。