[論文レビュー] Distinguishing Cause and Effect via Second Order Exponential Models

Dominik Janzing, Xiaohai Sun+1 more|ArXiv.org|Oct 29, 2009

Bayesian Modeling and Causal Inference参考文献 23被引用数 10

ひとこと要約

本稿では、1次および2次モーメント制約の下で条件付きエントロピーを最大化する2次指数型モデルを用いて、混合離散連続系における原因と結果を区別する因果推論手法を提案する。この手法は、滑らかさを重視する条件付き密度を用い、因果的方向を特定するとともに、原因と結果の間に非一般的なアルゴリズム的依存関係を検出する。離散変数や部分集合制約付き変数が存在する場合でも、マークフ・同値なグラフにおいても因果構造を成功裏に区別できる。

ABSTRACT

We propose a method to infer causal structures containing both discrete and continuous variables. The idea is to select causal hypotheses for which the conditional density of every variable, given its causes, becomes smooth. We define a family of smooth densities and conditional densities by second order exponential models, i.e., by maximizing conditional entropy subject to first and second statistical moments. If some of the variables take only values in proper subsets of R^n, these conditionals can induce different families of joint distributions even for Markov-equivalent graphs. We consider the case of one binary and one real-valued variable where the method can distinguish between cause and effect. Using this example, we describe that sometimes a causal hypothesis must be rejected because P(effect|cause) and P(cause) share algorithmic information (which is untypical if they are chosen independently). This way, our method is in the same spirit as faithfulness-based causal inference because it also rejects non-generic mutual adjustments among DAG-parameters.

研究の動機と目的

• 既存の手法がしばしば失敗する、離散変数と連続変数が混在する状況においても機能する因果推論手法の開発。
• 忠実性に基づくアプローチの限界を補うために、通常の独立性仮定に反する非一般的な依存関係を検出すること。
• 滑らかさの高い条件付き密度を優遇することで、マークフ同値な因果グラフのうちから適切な選択を行う原理的枠組みの提供。
• 純粋に連続的または離散的な変数にとどまらず、離散変数が条件付き密度族に与える構造的差を活用することで、因果発見を拡張すること。
• 原因と結果の間で共有されるアルゴリズム的情報に基づく基準を形式化し、独立性下で通常ではない共有情報を持つ因果仮説を除外すること。

提案手法

• 本手法は、1次および2次モーメント制約の下で条件付きエントロピーを最大化する2次指数型モデルを用い、条件付き密度のパラメトリック族を定義する。
• 線形および非線形項を組み込んだ柔軟な指数型族を用いて、P(effect|cause)の条件付き密度をモデル化し、滑らかさと複雑さの制御を可能にする。
• 2値の原因と実数値の結果に対して、モデルは平均と分散のシフトを捉え、条件付き密度が平均、分散、非線形歪み項などのパラメータに依存する。
• 条件付き密度の滑らかさを評価し、最も滑らかで規則的なマークフ核を生じる因果方向を選択する。
• P(effect|cause)とP(cause)が因果的につながっていない限り、アルゴリズム的情報を共有しないという原則に従い、非一般的な依存関係がある場合は仮説を除外する。
• 二峰性混合モデルでの実証により、因果方向（2値原因 → 実数値結果）は逆方向よりも単純で滑らかな条件付き密度を生成することが確認された。

実験結果

リサーチクエスチョン

• RQ1 観測データのみを用いて、1つの離散変数と1つの連続変数を含むシステムで、因果推論手法が原因と結果を区別できるか。
• RQ2 混合変数系において、条件付き密度の滑らかさを基準として、片方の因果方向を他方よりも優先する方法は何か。
• RQ3 P(effect|cause)とP(cause)の間の非一般的なアルゴリズム的依存関係は、非因果的仮説を除外するために果たす役割は何か。
• RQ4 マークフ同値な有向非巡回グラフ（DAG）であっても、2次指数型モデルが異なる因果方向に対して異なる結合分布族を生成できるか。
• RQ5 離散変数や部分集合制約付き変数の存在が、純粋に連続的モデルが失敗する状況での因果発見を可能にするメカニズムは何か。

主な発見

• 2値変数が実数値変数の平均をシフトすることで原因となる二峰性混合モデルにおいて、本手法は原因と結果を成功裏に区別した。
• 逆方向の因果（結果 → 原因）では、より複雑で滑らかでない条件付き密度が得られ、滑らかさ基準に基づき除外された。
• P(effect|cause)とP(cause)の間で共有される非一般的なアルゴリズム的情報は、非因果的仮説の除外に用いられ、忠実性の原則に整合しながらも、混合変数設定への拡張を果たした。
• 因果方向における条件付き密度P(y|x=1)のスコア関数が4点で線形独立であることが示され、モデルの同定可能性が確認された。
• 本手法は、マークフ同値なグラフであっても、離散的または部分集合制約付き変数が存在する場合、異なる因果方向で異なる結合分布族を生成することを示した。
• 数値的検証により、条件付き密度の勾配行列がフルランクであることが確認され、モデルが因果方向を区別できる能力が裏付けられた。