[論文レビュー] Formally Justifying MDL-based Inference of Cause and Effect

Alexander Marx, Jilles Vreeken|arXiv (Cornell University)|May 5, 2021

Computability, Logic, AI Algorithms参考文献 30被引用数 4

ひとこと要約

本稿は、アルゴリズム的独立性の条件付き仮説（AIC）の仮説と、因果推論における実用的二部形式の最小記述長（MDL）手法の間のギャップを形式的に埋める。AICのコルモゴロフ複雑度に基づく二部形式を導出し、MDL符号化に直接対応させ、この形式化が元のAIC仮説と同等の因果推論結果をもたらすことを証明することで、MDLに基づく因果発見における理論的整合性を保証する。

ABSTRACT

The algorithmic independence of conditionals, which postulates that the causal mechanism is algorithmically independent of the cause, has recently inspired many highly successful approaches to distinguish cause from effect given only observational data. Most popular among these is the idea to approximate algorithmic independence via two-part Minimum Description Length (MDL). Although intuitively sensible, the link between the original postulate and practical two-part MDL encodings is left vague. In this work, we close this gap by deriving a two-part formulation of this postulate, in terms of Kolmogorov complexity, which directly links to practical MDL encodings. To close the cycle, we prove that this formulation leads on expectation to the same inference result as the original postulate.

研究の動機と目的

• アルゴリズム的独立性の条件付き仮説（AIC）の仮説と、因果推論に用いられる実用的二部形式MDL符号化を正式に結びつけること。
• コルモゴロフ複雑度に基づくAIC仮説の定式化と、MDL近似の関係に生じる曖昧さを解消すること。
• 二部記述を用いたMDLに基づく因果推論が、AIC原理によって理論的に正当化されることを確立すること。
• 因果推論に与える結合データ-モデル符号化の影響を分析し、モデルがデータから独立していることを強調すること。

提案手法

• AIC仮説の二部コルモゴロフ複雑度形式を導出し、モデルの複雑さと、モデルが与えられたもとでのデータの複雑さを明示的に含む。
• コルモゴロフ複雑度の連鎖則を用いて、因果的順序において総記述長を $ K(P_X) + K(P_{Y|X}) + H(P_{XY}) $ として表現（加法的定数を除く）。
• アルゴリズム的独立性のメカニズムを活用することで、この形式化が期待値において元のAIC仮説と同一の因果推論結果をもたらすことを証明する。
• 結合符号化を分析し、モデルがデータから独立している場合にのみ非対称性が保たれることを示す。
• AICのもとでは $ K(P_{Y|X} \mid x) \approx K(P_{Y|X}) $ であるが、反因果的順序では $ K(P_{X|Y} \mid y) \not\approx K(P_{X|Y}) $ であることを示し、非対称性が保持されることを示す。
• 導出された二部コルモゴロフ複雑度形式と、実際の用途で用いられる標準的二部MDL近似との間の一対一対応を確立する。

実験結果

リサーチクエスチョン

• RQ1 アルゴリズム的独立性の条件付き仮説は、二部コルモゴロフ複雑度の観点からどのように正式に表現できるか？
• RQ2 実用的に用いられる二部MDL近似は、因果推論性能の観点から、元のAIC仮説に対応しているか？
• RQ3 結合データ-モデル符号化が因果的・反因果的順序の非対称性を保つために満たすべき条件は何か？
• RQ4 なぜデータをモデル記述に含めると、因果推論に必要な非対称性が破壊されるのか？
• RQ5 コルモゴロフ複雑度を用いて、MDLに基づく因果推論の理論的基盤を厳密に正当化できるか？

主な発見

• 本稿は、モデルの複雑さと、モデルが与えられたもとでのデータの複雑さを明示的に含むAIC仮説の二部コルモゴロフ複雑度形式を導出した。
• この形式化が期待値において元のAIC仮説と同等の因果推論結果をもたらすことが証明され、MDL近似の使用が正当化された。
• モデルの複雑さがデータに依存しない場合、すなわち $ K(P_{Y|X} \mid x) \approx K(P_{Y|X}) $ のとき、因果的・反因果的順序の非対称性が保たれる。
• 結合符号化では、モデルがデータとは独立に符号化されなければならない。そうでなければ記述長は対称的になり、推論が失敗する。
• 導出された形式化は、実用的に用いられる標準的二部MDL符号化と一対一対応するため、その実用的因果推論への使用が正当化される。
• 結果として、MDLに基づく手法が、モデル記述が観測データに依存しない場合に限り、因果発見において理論的に妥当であることが示された。