[論文レビュー] The Randomized Causation Coefficient

David López-Paz, Krikamol Muandet+1 more|arXiv (Cornell University)|Sep 15, 2014

Bayesian Modeling and Causal Inference参考文献 19被引用数 13

ひとこと要約

本論文は、因果関係をカーネル平均埋め込み分類問題として扱うことで、2つの確率変数間の因果方向をデータ駆動型に学習するためのランダム化因果係数（RCC）を提案する。本手法はChaLearn Fast Causation Coefficient Challengeにおいて、上位3位にランクされ、2分未満でテストデータに対して0.732843の双方向AUCを達成し、最速コード賞を受賞した。

ABSTRACT

We are interested in learning causal relationships between pairs of random variables, purely from observational data. To effectively address this task, the state-of-the-art relies on strong assumptions regarding the mechanisms mapping causes to effects, such as invertibility or the existence of additive noise, which only hold in limited situations. On the contrary, this short paper proposes to learn how to perform causal inference directly from data, and without the need of feature engineering. In particular, we pose causality as a kernel mean embedding classification problem, where inputs are samples from arbitrary probability distributions on pairs of random variables, and labels are types of causal relationships. We validate the performance of our method on synthetic and real-world data against the state-of-the-art. Moreover, we submitted our algorithm to the ChaLearn's "Fast Causation Coefficient Challenge" competition, with which we won the fastest code prize and ranked third in the overall leaderboard.

研究の動機と目的

• 強いパラメトリックな仮定に依存しない一般化されたデータ駆動型因果推論手法を、2つの確率変数間で開発すること。
• 手動による特徴工学や、加法的ノイズや可逆性といったドメイン固有の仮定を必要とせず、観測データから直接因果関係を学習すること。
• 分布の特徴量を用いた教師あり分類問題として因果関係を定式化することで、スケーラブルかつ効率的な因果発見を可能にすること。
• 合成データおよび実世界データを含む、ChaLearnチャレンジを含む実データ上で本手法の妥当性を検証し、頑健性と高速性を示すこと。

提案手法

• 2つの確率変数の同時分布を、ランダムフォーリエ特徴量を用いたカーネル平均埋め込みとして表現し、標本を固定次元の特徴ベクトルに変換する。
• 因果推論を二値分類タスクとして定式化：これらの埋め込み特徴量を用いて、X→Y と Y→X を区別する。
• 二段階の分類器を採用する：第一段階で勾配ブースティング分類器が因果的でないペアと因果的ペアを区別し、第二段階で因果的ペアに対して因果の方向を特定する分類器を適用する。
• 最終的な因果係数は、因果関係の確率と方向性の符号付き信頼度スコアの積として計算される。
• カーネル平均埋め込みから導出される分布的特徴量を活用することで、手作業による統計量の設計を回避したエンド・ツー・エンドの学習が可能になる。
• 本手法は、ペaired分布とその因果関係のラベル付きデータで学習され、ChaLearnデータセットにおいてテスト時推論を2分未満で実行可能である。

実験結果

リサーチクエスチョン

• RQ1 加法的ノイズや可逆性といった特定の構造的モデルを仮定せずに、観測データから確率変数間の因果関係を直接学習できるか？
• RQ2 モデルベースのアプローチが複雑なデータに限界を示す中で、データ駆動型アプローチが人工的および実世界の因果的ペアを含む多様なデータ分布に一般化可能か？
• RQ3 カーネル平均埋め込みから得られる分布的特徴量のみを用いて、因果方向推論において高い精度を達成できるか？
• RQ4 実世界データにおいて、学習されたエンド・ツー・エンド分類器の性能は、IGCI や加法的ノイズモデルといった伝統的手法と比較して優れているか？

主な発見

• ランダム化因果係数（RCC）は、ChaLearnチャレンジのテストセットで0.732843の双方向AUCを達成し、全体で3位にランクされ、最速コード賞を受賞した。
• 同じデータセットにおいてIGCIはほとんどランダムな推測よりわずかに優れていたが、RCCはその限界を克服し、優れた性能を発揮した。
• RCCは最小限の計算コストで高い性能を達成し、テストセットの処理を2分未満で完了した。これは、優勝エントリーよりも著しく速い。
• 本手法は、18%が実世界データで82%が人工的因果ペアを含む多様なデータに対して頑健であることが示され、広範な適用可能性を示した。
• ランダムフォーリエ特徴量の使用により、複雑な分布の効率的かつ効果的な特徴量化が可能となり、データから因果パターンを学習可能であることを裏付けた。