[論文レビュー] Estimating Causal Direction and Confounding of Two Discrete Variables

Krzysztof Chalupka, Frederick Eberhardt+1 more|arXiv (Cornell University)|Nov 4, 2016

Bayesian Modeling and Causal Inference参考文献 10被引用数 5

ひとこと要約

本論文は、2つの離散変数間の因果的方向性および交絡構造を、唯一の同時確率分布から推定するニューラルネットワーク分類器を提案する。原因の分布と原因-効果メカニズムの間の独立性を仮定することで、変数の濃度が高くなるほど高い精度を達成し、これらの仮定の下では因果構造が実用的に同定可能であることが示された。

ABSTRACT

We propose a method to classify the causal relationship between two discrete variables given only the joint distribution of the variables, acknowledging that the method is subject to an inherent baseline error. We assume that the causal system is acyclicity, but we do allow for hidden common causes. Our algorithm presupposes that the probability distributions $P(C)$ of a cause $C$ is independent from the probability distribution $P(E\mid C)$ of the cause-effect mechanism. While our classifier is trained with a Bayesian assumption of flat hyperpriors, we do not make this assumption about our test data. This work connects to recent developments on the identifiability of causal models over continuous variables under the assumption of "independent mechanisms". Carefully-commented Python notebooks that reproduce all our experiments are available online at http://vision.caltech.edu/~kchalupk/code.html.

研究の動機と目的

• 観測データのみを用いて2つの離散変数間の因果的方向性と交絡を同定する手法を開発すること。
• 実験的介入なしでは根本的に同定不能な2変数因果システムの根本的非同定性に対処すること。
• 最小限の仮定の下で、同時分布から因果構造を同定できるかどうかを調査すること。
• ベイズ的仮定（平坦なハイパーパrior）の下でトレーニングされたニューラルネットワーク分類器の性能を、実世界に類似した分布に対して評価すること。
• 根本的に非同定であるにもかかわらず、因果推論が実用的に同定可能となる条件を探索すること。

提案手法

• 本手法は、入力として同時確率表 $P(X,Y)$ を受け取り、それらを6つの可能な非巡回因果モデルのいずれかに分類するニューラルネットワークを用いる。
• 原因の分布 $P(C)$ とメカニズム $P(E|C)$ の間の独立性を仮定する。これは連続変数因果推論における「独立メカニズム」仮定に由来する。
• 分類器は、$P(C)$ および $P(E|C)$ の両方に対して平坦なディリクレハイパーパriorを用いたベイズフレームワークでトレーニングされるが、テストデータはこの仮定を満たす必要はない。
• 実験では、異なる濃度を持つ合成データセットを丁寧に選別し、さまざまな因果構造における分類性能を評価する。
• 誤差率と誤り行列を用いて複数の試行で性能を評価し、分散分析と非一様ハイパーパrior下での頑健性を分析する。
• 濃度が高くなると、仮定モデル下での尤度が急激に鋭くなるため、1つの因果構造が圧倒的に優位になるという事実を活用する。

実験結果

リサーチクエスチョン

• RQ1 2つの離散変数の同時分布から、介入なしに因果的方向性と交絡を信頼性高く推定できるか？
• RQ2 原因とメカニズムの分布が独立であるという仮定の下で、変数の濃度が増加するにつれて因果構造分類の性能はどのように変化するか？
• RQ3 平坦な事前分布でトレーニングされたが、非一様なハイパーパriorが適用された場合、分類器の性能はどの程度低下するか？
• RQ4 根本的に非同定であるにもかかわらず、どのような条件下で問題が実用的に同定可能になるか？
• RQ5 $P(C)$ と $P(E|C)$ の間の独立性仮定が、離散系における信頼性の高い因果推論を可能にするか。また、この仮定の破綻に対して、この手法はどの程度頑健か？

主な発見

• 濃度が2の変数では誤差率が25.7％に達するが、濃度が10に増加すると0.85％（10,000個のテストポイント中85個）に低下する。
• 変数の濃度が高くなると、仮定モデル下での尤度が急激に鋭くなるため、1つの因果構造が圧倒的に優位になり、問題が実用的に同定可能になる。
• 非一様ハイパーパrior下でも性能は安定しており、分散が増加する傾向にあるが、平均的には事前分布の誤設定に対しても頑健であることが示された。
• ニューラルネットワークはすべてのケースで独立変数を正しく同定し、直接的な因果方向と交絡状況を区別できるが、濃度が低い場合には $X\rightarrow Y$ と $Y\rightarrow X$ を誤って識別することがある。
• 濃度が高ければ、原因分布とメカニズムの間の独立性という最小限の仮定の下で因果推論が可能であることが示された。
• 根本的な非同定性に起因する非ゼロ誤差が存在するが、濃度が高い状況では分類器が有用かつ信頼性のある推論を提供することが結果から確認された。