[論文レビュー] Consistency of Causal Inference under the Additive Noise Model

Samory Kpotufe, Eleni Sgouritsa+2 more|arXiv (Cornell University)|Dec 19, 2013

Bayesian Modeling and Causal Inference参考文献 14被引用数 27

ひとこと要約

本稿は、2変数設定における加法的ノイズモデル（ANM）における因果推論のための統計的一貫性に関する最初の結果を確立する。kernel密度推定とエントロピーに基づく独立性検定を用いる一般的なANMベースの推論手法が、弱いアルゴリズム的および分布的尾部条件のもとで一貫性を示すことを証明しており、標本サイズが増加するにつれて正しい因果方向の同定が保証される。

ABSTRACT

We analyze a family of methods for statistical causal inference from sample under the so-called Additive Noise Model. While most work on the subject has concentrated on establishing the soundness of the Additive Noise Model, the statistical consistency of the resulting inference methods has received little attention. We derive general conditions under which the given family of inference methods consistently infers the causal direction in a nonparametric setting.

研究の動機と目的

• 有限標本における理論的保証がこれまで欠落していた、加法的ノイズモデル（ANM）における因果推論手法の統計的一貫性を確立すること。
• ANMベースの推論手順が正しい因果方向に収束するための最小限のアルゴリズム的および分布的条件を同定すること。
• 有限標本における推定ノイズと入力変数の間の依存という核心的な課題に取り組むこと。
• 識別可能性の理解を越えて、実用的な推論アルゴリズムの統計的挙動を理論的に拡張すること。
• まず2変数ケースを分析することで、ANMにおける多変量因果発見のための一貫性の基盤を築くこと。

提案手法

• 回帰フィットからの残差（ノイズ項）の密度を非パラメトリックに推定するために、kernel density estimationを用いる。
• 入力変数と推定された残差の間の条件付き独立性をテストするために、エントロピーに基づく独立性尺度を用いる。
• 密度推定子およびエントロピー推定子の推定誤差を制御するために、集中不等式とバイアスバウンドを適用する。
• 弱い正則性および尾部条件のもとで、推定された残差のエントロピーが真の構造的ノイズ項のエントロピーに収束することを確立する。
• kernel関数の有界な微分可能性を仮定し、一様収束結果を用いて密度推定のバイアスを制御する。
• Markovの不等式およびエントロピー連続性に関する補題を用いて、指定された条件下で推定エントロピーが確率的に真のエントロピーに収束することを示す。

実験結果

リサーチクエスチョン

• RQ1 どのような条件下で、ANMベースの因果推論手法が有限標本から真の因果方向を一貫して回復できるか？
• RQ2 回帰およびノイズ密度推定における推定誤差が、ANMにおける独立性検定の一貫性にどのように影響するか？
• RQ3 構造的ノイズおよび入力変数の分布的尾部条件として、推論手順の一貫性を保証するのに十分な条件は何か？
• RQ4 ANMが識別可能である場合、推定された残差にエントロピーに基づく独立性検定を適用することで、真の因果方向を一貫して検出できるか？
• RQ5 ANMベースの因果発見における一貫性を達成するための最小限のアルゴリズム的要件（例えば、回帰およびエントロピー推定手法）は何か？

主な発見

• 提案されたANM推論手順は統計的一貫性を有する：標本サイズが増加するにつれて、その方法は確率1に近づいて正しい因果方向を正しく同定する。
• 一貫性は弱い条件下で達成される：回帰関数およびノイズ密度は十分に滑らかで、ノイズの尾部は軽い（指数関数的またはそれより軽い）必要がある。
• 推定された残差のエントロピーは確率的に真の構造的ノイズ項のエントロピーに収束し、信頼性のある独立性検定が保証される。
• 残差のkernel density estimationにおけるバイアスは、回帰推定子の$L^1$-誤差によって制御され、その収束速度は$n^{-\beta}$（$β = \min\{(1-\alpha)/2, \alpha\}$）の割合で低下する。
• 密度の$L^1$収束の下でエントロピーの連続性を用いることで、有界なサポートおよび尾部条件のもとでエントロピー推定子の収束が確立される。
• 推定ノイズと入力変数の間の本質的な依存性のため、より強い分布的仮定がなければ有限標本レートは得られにくいと示唆される。