[論文レビュー] Causal Inference via Kernel Deviance Measures

Jovana Mitrovic, Dino Sejdinović+1 more|arXiv (Cornell University)|Apr 12, 2018

Bayesian Modeling and Causal Inference参考文献 16被引用数 14

ひとこと要約

本稿では、再帰的ヒルバート空間（RKHS）における条件付き平均埋め込みのノルムを用いた記述長の変動を測定することにより、観測データから因果方向を推定する完全非パラメトリック手法である因果推論のためのカーネル条件付き分散（KCDC）を提案する。この手法は、メカニズムのコルモゴロフ複雑度に基づく新しい非対称性解釈を用いることで、合成データ、時系列データ、ベンチマークデータにおいて最先端手法を上回る性能を発揮する。

ABSTRACT

Discovering the causal structure among a set of variables is a fundamental problem in many areas of science. In this paper, we propose Kernel Conditional Deviance for Causal Inference (KCDC) a fully nonparametric causal discovery method based on purely observational data. From a novel interpretation of the notion of asymmetry between cause and effect, we derive a corresponding asymmetry measure using the framework of reproducing kernel Hilbert spaces. Based on this, we propose three decision rules for causal discovery. We demonstrate the wide applicability of our method across a range of diverse synthetic datasets. Furthermore, we test our method on real-world time series data and the real-world benchmark dataset Tubingen Cause-Effect Pairs where we outperform existing state-of-the-art methods.

研究の動機と目的

• 特定の関数形やノイズ構造を仮定しない完全非パラメトリックな因果発見手法の開発を目的とする。
• 条件付き独立性の検定やパラメトリックな仮定に依存する既存手法の限界を克服することを目的とする。
• 情報理論的原則（コルモゴロフ複雑度）に基づく非対称性解釈を用いて、純粋に観測データからの因果構造を明確に推定することを目的とする。
• 特定のモデルクラスに特化したアルゴリズムを必要とせず、複雑で高次元のデータ生成プロセスへの因果推論を拡張することを目的とする。
• 時系列データや実世界ベンチマークを含む多様なデータタイプにわたるロバスト性と適用可能性の向上を目的とする。

提案手法

• 本手法は、入力値ごとの条件付きメカニズムのコルモゴロフ複雑度の変動に基づく、原因・結果の非対称性に対する新しい解釈を導入する。
• 条件付き平均埋め込みの再帰的ヒルバート空間（RKHS）ノルムを用いて、計算不能なコルモゴロフ複雑度を近似する。
• カーネル条件付き分散（KCDC）は、RKHSノルムの集合内分散を測定することで、条件付き分布の記述長の変動を定量化する。
• 3つの意思決定ルールを提案する：直接比較、複数カーネルにおけるアンサンブル、分類ベースの因果方向選択。
• パラメトリックな仮定を必要としない非パラメトリックな条件付き分布表現としてカーネル埋め込みを用いることで、柔軟なモデリングを可能にする。
• 複数のカーネル（RBFおよび対数カーネル）とバンド幅に対して交差検証を用いてハイパーパrameterを最適化し、ロバスト性を確保する。

実験結果

リサーチクエスチョン

• RQ1 特定の関数形やノイズ分布を仮定しない非パラメトリックな因果推論手法を開発可能か？
• RQ2 コルモゴロフ複雑度などの情報理論的原則を用いて、原因と結果の非対称性をどのように形式化できるか？
• RQ3 RKHSノルムを用いて条件付きメカニズムの記述長の変動を効果的に測定し、因果方向を推定可能か？
• RQ4 KCDCは多様な合成データおよび実世界データセットにおいて、最先端手法と比較してどのように性能を発揮するか？
• RQ5 confounder変数を考慮しつつ、KCDCを多変量因果発見に拡張可能か？

主な発見

• KCDCはチュービンク因果対ベンチマークデータセットにおいて、既存の最先端手法を上回った。
• 実世界のGDP時系列データでは、ハイパーパrameter設定に応じて2.45～44,565.6の信頼度を示しながら、正しい因果方向を正しく特定した。
• 広範な合成データセットにおいて高い精度を達成し、広範な適用可能性を示した。
• LiNGAMは時系列データでは正しい因果方向を特定できなかったが、Bauerら（2016）の手法は成功した。KCDCは同手法と同等またはそれを上回る性能を発揮した。
• アンサンブルおよび分類ベースの意思決定ルールにより、多様なデータタイプにわたるロバスト性と一般化性能が向上した。
• KCDCは複数のカーネルタイプおよびバンド幅において安定した性能を示し、ハイパーパrameterに対する強い耐性を示した。