[論文レビュー] Deep Convolutional Neural Networks for Pairwise Causality

Karamjit Singh, Garima Gupta+3 more|arXiv (Cornell University)|Jan 3, 2017

Bayesian Modeling and Causal Inference参考文献 9被引用数 5

ひとこと要約

この論文では、観測データの散布図から2変数間の因果関係を推定するために、畳み込みニューラルネットワーク（CNN）を用いる手法を提案する。各属性ペアを2次元画像として扱い、勾配ブースティング分類器を用いた重み付きアンサンブルにより、NIPS 2013 因果ペアチャレンジで最先端の性能を達成した。特にデータが限られる状況下でも、従来手法を上回る性能を示した。

ABSTRACT

Discovering causal models from observational and interventional data is an important first step preceding what-if analysis or counterfactual reasoning. As has been shown before, the direction of pairwise causal relations can, under certain conditions, be inferred from observational data via standard gradient-boosted classifiers (GBC) using carefully engineered statistical features. In this paper we apply deep convolutional neural networks (CNNs) to this problem by plotting attribute pairs as 2-D scatter plots that are fed to the CNN as images. We evaluate our approach on the 'Cause- Effect Pairs' NIPS 2013 Data Challenge. We observe that a weighted ensemble of CNN with the earlier GBC approach yields significant improvement. Further, we observe that when less training data is available, our approach performs better than the GBC based approach suggesting that CNN models pre-trained to determine the direction of pairwise causal direction could have wider applicability in causal discovery and enabling what-if or counterfactual analysis.

研究の動機と目的

• 条件付き独立性検定が条件変数の欠如により失敗するため、観測データのみから2変数間の因果関係を推定する課題に取り組む。
• 手作業で特徴を設計する必要がある従来の統計的手法（例：勾配ブースティング分類器、GBC）の限界を克服し、データがスパースな状況でも性能を発揮できるようにする。
• 深層学習、特にCNNが、明示的な特徴工学を経ずに、散布図の視覚的パターンから直接因果関係を学習できるかを検討する。
• 訓練データが限られている場合の、CNNベースのモデルの一般化性能とロバストネスを調査する。これは現実世界の一般的な制約である。
• CNNとGBCの長所を補完し合うように統合することで、因果発見ベンチマークで優れた性能を達成するアンサンブルフレームワークを開発する。

提案手法

• 連続変数の場合は点を直接プロットし、二値またはカテゴリカル変数の場合は度数を濃度にマップして、各ペアワイズデータインスタンスを200×200グレースケールの散布図に変換する。
• 5段階の構造を持つ15層のCNNを訓練し、各段階で2つの畳み込み層と1つのマックスプーリング層を含め、散布図画像から因果関係の方向（X→Y、Y→X、またはなし）を分類する。
• 別途、手作業で設計した統計的特徴（例：回帰残差の非対称性、ノイズ分布）に基づいてトレーニングされた勾配ブースティング分類器（GBC）を用い、同様に3クラスの因果ラベルを予測する。
• 重み付きアンサンブルモデルを構築する。CNNとGBCの確率を組み合わせ、$ p^e_k = w \cdot p^c_k + (1-w) \cdot p^g_k $ と定式化し、$ w \in [0,1] $ はバリデーションセット上で最適化する。
• XとYを入れ替えることでデータオーグメンテーションを実施し、対称的なトレーニング例を生成することで、モデルの一般化性能とロバストネスを向上させる。
• 精度とAUCを評価指標とし、AUCは公式のNIPS 2013チャレンジ仕様に従って計算する。また、完全なデータセットとスパースなデータセットの両方で性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 手作業で特徴を設計する必要のない、視覚的パターンから因果関係を効果的に学習できるか、深層畳み込みニューラルネットワーク（CNN）は散布図から因果関係を推定できるか？
• RQ2 NIPS 2013 因果ペアチャレンジベンチマークにおいて、CNNベースの手法は最先端の勾配ブースティング分類器（GBC）と比べてどの程度の性能を示すか？
• RQ3 訓練データが限られている場合、特に1属性ペアあたり100件未満の観測値がある状況下で、CNNベースの手法はGBCよりも一般化性能に優れているか？
• RQ4 CNNとGBCの重み付きアンサンブルモデルは、両者の相補的な強みを組み合わせることで、より優れた性能を達成できるか？
• RQ5 CNNモデルは、ドメイン固有の特徴に依存しない生の散布図画像に依存しているため、再トレーニングなしに他のデータセットへも適用可能か？

主な発見

• CNNとGBCの重み付きアンサンブルは、KaggleテストセットでAUC 0.825を達成し、SOTAを更新し、プライベートランクイングで1位を獲得した。
• 完全な訓練データを用いた場合、バリデーションセットで79.3%の精度と0.831のAUCを達成し、単体のCNN（72.5%精度、0.779 AUC）およびGBC（77.8%精度、0.805 AUC）を上回った。
• 100～1000件の観測値に制限した訓練データでも、CNNベースのモデルは精度とAUCの両面でGBCベースのモデルを常に上回り、データスパarsityに対する優れたロバストネスを示した。
• テストセットではCNNモデルが73.3%の精度と0.769のAUCを達成し、特徴工学なしでも高い性能を発揮した。また、完全データでのGBCの成績を下回ったが、依然として競争力を持っていた。
• スパースデータでの性能は、CNNが視覚的構造から内蔵された因果パターンを学習できることを示唆しており、限られた観測値がある現実世界の応用に適していると考えられる。
• アンサンブルモデルの成功は、CNNとGBCが相補的であることを示している。CNNは視覚的パターンを捉えるが、GBCは統計的不変性を活用する。両者の融合により、全体の予測性能が向上した。