[論文レビュー] Causal inference using the algorithmic Markov condition

Dominik Janzing, Bernhard Schoelkopf|ArXiv.org|Apr 23, 2008

Computability, Logic, AI Algorithms参考文献 26被引用数 10

ひとこと要約

この論文は、統計的条件付き独立性の代わりに、消える条件付きアルゴリズム的相互情報量を用いるアルゴリズム的マークフ・条件を導入し、単一観測からの因果推論を可能にする。アルゴリズム的複雑性に基づく因果推論フレームワークを確立し、より単純なマークフ・カーネルを好むことで、マークフ同値構造を解消する。実用的応用のため、圧縮とリソース制限付き複雑性による決定可能近似を提案する。

ABSTRACT

Inferring the causal structure that links n observables is usually based upon detecting statistical dependences and choosing simple graphs that make the joint measure Markovian. Here we argue why causal inference is also possible when only single observations are present. We develop a theory how to generate causal graphs explaining similarities between single objects. To this end, we replace the notion of conditional stochastic independence in the causal Markov condition with the vanishing of conditional algorithmic mutual information and describe the corresponding causal inference rules. We explain why a consistent reformulation of causal inference in terms of algorithmic complexity implies a new inference principle that takes into account also the complexity of conditional probability densities, making it possible to select among Markov equivalent causal graphs. This insight provides a theoretical foundation of a heuristic principle proposed in earlier work. We also discuss how to replace Kolmogorov complexity with decidable complexity criteria. This can be seen as an algorithmic analog of replacing the empirically undecidable question of statistical independence with practical independence tests that are based on implicit or explicit assumptions on the underlying distribution.

研究の動機と目的

• 因果関係を統計的アンサンブルから個々の観測に拡張し、因果性をアルゴリズム的情報理論に根ざさせること。
• 繰り返しサンプリングと統計的独立性に依存する従来の因果マークフ条件の限界を克服すること。
• 条件付き確率密度のアルゴリズム的複雑性を組み込むことで、因果グラフにおけるマークフ同値性を解消すること。
• 圧縮とリソース制限付き複雑性に基づく決定的推論規則を開発し、計算不能なアルゴリズム的測度を近似すること。
• 単純さとアルゴリズム的構造に基づくヒューリスティックな因果推論原則の理論的基盤を提供すること。

提案手法

• 因果グラフにおけるマークフ的性質の基準として、統計的条件付き独立性の代わりに、消える条件付きアルゴリズム的相互情報量を採用する。
• コルモゴロフ複雑性を用いてアルゴリズム的依存性を形式化することで、文字列として表現された個々の対象に因果マークフ条件を適用する。
• より単純な条件付き密度をもつ因果構造を好むために、マークフ・カーネルのアルゴリズム的独立性の概念を導入する。
• コルモゴロフ複雑性を圧縮に基づくアルゴリズム的相互情報量の近似に置き換えることで、決定的代替手段を提案する。
• リソース制限付き複雑性を用いてアルゴリズム的測度を計算可能にし、計算制約下での実用的因果推論を可能にする。
• 対称性と計算的深さを、因果方向の指標として活用し、一方の方向での計算がより効率的である説明を好む。

実験結果

リサーチクエスチョン

• RQ1 統計的アンサンブルの代わりにアルゴリズム的情報理論を用いることで、単一観測からの因果構造の推論は可能か？
• RQ2 個々の対象を扱うにあたり、因果マークフ条件をアルゴリズム的相互情報量の観点からどのように再定式化できるか？
• RQ3 統計的独立性が不十分な状況でマークフ同値性を解消する基準は何か？アルゴリズム的複雑性はどのように役立つか？
• RQ4 計算不能なアルゴリズム的測度（例：コルモゴロフ複雑性）を、決定的で圧縮に基づく近似に置き換える程度はどの程度か？
• RQ5 計算複雑性（例：論理的深さ）は、アルゴリズム的相互情報量を超えて、因果方向に関する追加の手がかりを提供できるか？

主な発見

• アルゴリズム的マークフ条件により、統計的独立性の代わりにアルゴリズム的相互情報量を用いて、単一観測からの因果推論が可能になる。
• 対応するマークフ・カーネルがアルゴリズム的に独立である場合に因果仮説が優先され、より単純な条件付き密度を好むことでマークフ同値性が解消される。
• アルゴリズム的複雑性に基づく単純な説明を好む因果発見のヒューリスティック原則に理論的根拠を提供する。
• アルゴリズム的相互情報量の圧縮に基づく近似は、コルモゴロフ複雑性が計算不能であるとしても、実用的因果推論規則の実装に用いることができる。
• リソース制限付き複雑性は、無制限のコルモゴロフ複雑性の計算可能な代替手段を提供するが、対称性を破り、理論的分析を複雑にする。
• 計算のための時間的リソースや、原因から結果を計算するのに要する時間は、因果的非対称性を追加で示し、効率的な計算が因果方向を好む傾向を示唆する。