[論文レビュー] Distinguishing cause from effect using observational data: methods and benchmarks

Joris M. Mooij, Jonas Peters+3 more|arXiv (Cornell University)|Dec 11, 2014

Bayesian Modeling and Causal Inference参考文献 100被引用数 324

ひとこと要約

本論文は、観測データのみを用いて原因と結果を区別する手法を提案および評価し、加法的ノイズモデル（ANM）と情報幾何的因果推論（IGCI）に焦点を当てる。100の実世界の原因-結果ペアを含む CauseEffectPairs ベンチマークを導入し、ANM が実データで 63% の正確性と 0.74 の AUC を達成することを示し、この手法の理論的整合性も証明した。

ABSTRACT

The discovery of causal relationships from purely observational data is a fundamental problem in science. The most elementary form of such a causal discovery problem is to decide whether X causes Y or, alternatively, Y causes X, given joint observations of two variables X, Y. An example is to decide whether altitude causes temperature, or vice versa, given only joint measurements of both variables. Even under the simplifying assumptions of no confounding, no feedback loops, and no selection bias, such bivariate causal discovery problems are challenging. Nevertheless, several approaches for addressing those problems have been proposed in recent years. We review two families of such methods: Additive Noise Methods (ANM) and Information Geometric Causal Inference (IGCI). We present the benchmark CauseEffectPairs that consists of data for 100 different cause-effect pairs selected from 37 datasets from various domains (e.g., meteorology, biology, medicine, engineering, economy, etc.) and motivate our decisions regarding the "ground truth" causal directions of all pairs. We evaluate the performance of several bivariate causal discovery methods on these real-world benchmark data and in addition on artificially simulated data. Our empirical results on real-world data indicate that certain methods are indeed able to distinguish cause from effect using only purely observational data, although more benchmark data would be needed to obtain statistically significant conclusions. One of the best performing methods overall is the additive-noise method originally proposed by Hoyer et al. (2009), which obtains an accuracy of 63+-10 % and an AUC of 0.74+-0.05 on the real-world benchmark. As the main theoretical contribution of this work we prove the consistency of that method.

研究の動機と目的

• 二変量の場合に、純粋に観測データから因果関係を推定するという根本的な課題に取り組む。
• 実験的介入や追加の観測変数を必要とせずに、原因と結果を区別する手法の開発と評価を行う。
• 実世界のデータにおける二変量因果発見手法を評価するための標準化されたベンチマークの構築。
• ANM および IGCI 手法が、現実的な仮定のもとで実データおよびシミュレートされたデータに対して、どのように実効的に動作するかを評価する。
• 因果発見における加法的ノイズモデル手法の理論的整合性保証を提供する。

提案手法

• 原因から結果への因果関係を推定するために、データが Y = f(X) + N とモデル化可能であり、N が X と独立であるかどうかをテストすることで、加法的ノイズモデル（ANM）を提案する。
• 情報幾何の非対称性、特に誤差項と原因の独立性を活用して、情報幾何的因果推論（IGCI）を適用する。
• ANM フレームワークにおける関数 f の非パラメトリック推定に、ガウス過程回帰を用いる。
• IGCI における情報理論的測度の計算に、間隔推定器および ent-PSD を含むエントロピー推定器を用いる。
• 手動でキュレートされた真のラベルを備えた、37の実世界の分野からなる100の原因-結果ペアを含むベンチマークデータセット「CauseEffectPairs」を実装する。
• 正確性や AUC などの指標を用いて、実世界データおよび人工的にシミュレートされたデータの両方で手法を評価する。

実験結果

リサーチクエスチョン

• RQ1 2つの変数しか観測できない状況で、観測データから因果関係を信頼性を持って推定できるか？
• RQ2 ANM および IGCI 手法は、実世界データとシミュレートされたデータの両方において、どのように性能を発揮するか？
• RQ3 新たに提案された CauseEffectPairs ベンチマークにおける ANM および IGCI の実効的性能はいかがなものか？
• RQ4 加法的ノイズモデル手法は、フレームワークの仮定のもとで整合的であるか？
• RQ5 異なるエントロピー推定器および実装上の選択肢は、IGCI および ANM の性能と計算時間にどのように影響を与えるか？

主な発見

• 加法的ノイズモデル（ANM）手法は、実世界の CauseEffectPairs ベンチマークで 63% の正確性と AUC 0.74 を達成しており、観測データから因果関係を効果的に推定できることを示している。
• IGCI 手法は ANM 手法よりも著しく高速であり、非パラメトリック回帰が不要なため、約2桁の速度向上を達成している。
• ANM-MML 変種は、周辺分布の MML 評価が計算的に高コストであるため、顕著に遅い。
• ent-PSD エントロピー推定器は、IGCI 実装の中で最も遅いが、唯一データの摂動に対して頑健性を示している。
• 計算時間は手法によって異なるが、ガウス過程回帰が ANM 実装の主なボトルネックとなっている。
• ANM 手法の理論的整合性は、モデルの仮定のもとで証明されており、因果発見におけるその応用に強い基盤を提供している。