[論文レビュー] A Scalable Conditional Independence Test for Nonlinear, Non-Gaussian Data

Joseph Ramsey|arXiv (Cornell University)|Jan 20, 2014

Bayesian Modeling and Causal Inference参考文献 10被引用数 39

ひとこと要約

本稿では、非線形・非ガウス分布のデータに対して、計算効率が著しく優れており、既存のカーネルベースの手法（例：KCI）を凌駕するO(N²)のスケーラブルな条件付き独立性検定、条件付き相関独立性（CCI）を提案する。この手法により、計算的に扱える枠組みの中で条件付き相関を活用することで、大規模データセットにおける高次元の因果探索が可能になる。

ABSTRACT

Many relations of scientific interest are nonlinear, and even in linear systems distributions are often non-Gaussian, for example in fMRI BOLD data. A class of search procedures for causal relations in high dimensional data relies on sample derived conditional independence decisions. The most common applications rely on Gaussian tests that can be systematically erroneous in nonlinear non-Gaussian cases. Recent work (Gretton et al. (2009), Tillman et al. (2009), Zhang et al. (2011)) has proposed conditional independence tests using Reproducing Kernel Hilbert Spaces (RKHS). Among these, perhaps the most efficient has been KCI (Kernel Conditional Independence, Zhang et al. (2011)), with computational requirements that grow effectively at least as O(N3), placing it out of range of large sample size analysis, and restricting its applicability to high dimensional data sets. We propose a class of O(N2) tests using conditional correlation independence (CCI) that require a few seconds on a standard workstation for tests that require tens of minutes to hours for the KCI method, depending on degree of parallelization, with similar accuracy. For accuracy on difficult nonlinear, non-Gaussian data sets, we also compare a recent test due to Harris & Drton (2012), applicable to nonlinear, non-Gaussian distributions in the Gaussian copula, as well as to partial correlation, a linear Gaussian test.

研究の動機と目的

• 大規模・高次元データセットにおいて、既存のカーネルベースの条件付き独立性検定（例：KCI）が計算的に非現実的であるという問題に対処すること。
• 非線形・非ガウス分布の下でも精度を保ちつつ、スケーラブルなガウス分布およびカーネルベースのテストの代替案を開発すること。
• 線形性や正規性の仮定が成り立たない実世界のデータ（例：fMRI BOLD信号）における実用的な因果探索を可能にすること。
• KCI、偏相関、Harris & Drtonのコプシラベースの検定と比較して、CCIの性能と速度を、挑戦的な非線形・非ガウス分布のデータ上で評価すること。
• O(N²)の計算複雑性が、複雑なデータ環境下で高精度な条件付き独立性検定に十分であることを示すこと。

提案手法

• 再生核ヒルバート空間（RKHS）フレームワークに基づく条件付き相関に立脚する、条件付き相関独立性（CCI）検定を提案する。
• 2段階の推定手順を採用：まず条件付き平均関数を推定し、その後残差相関に基づく検定統計量を計算する。
• 分布の仮定を必要とせず、頑健性を確保するため、順列に基づくp値近似を用いる。
• カーネル行列の演算を簡略化し、完全な固有値分解を回避することで、KCIのO(N³)からO(N²)に計算コストを削減する。
• カーネル行列に低ランク近似を適用することで、計算をさらに高速化しながらも、検定の力を維持する。
• 非線形・非ガウス構造が明確に分かっている合成データおよび実際のfMRIデータを用いて、手法の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 O(N²)の計算複雑性で、非線形・非ガウス分布のデータに対して高精度な条件付き独立性検定を達成できるか？
• RQ2 大規模データセット上で、KCIおよび他の最先端手法と比較して、提案されたCCI検定の性能と速度はどの程度か？
• RQ3 従来の線形またはガウス分布の仮定が成り立たない高次元設定でも、CCI手法は信頼性を保つのか？
• RQ4 強い非線形依存関係下でも、タイプIおよびタイプIIエラー率がどの程度維持されるのか？
• RQ5 非線形性や非ガウス性が顕著な実世界の神経画像データ（例：fMRI BOLD信号）に対して、CCI検定は効果的に適用可能か？

主な発見

• CCI検定は、非線形・非ガウス分布のデータに対してKCIと同等の精度を達成しながら、大規模データセットでは計算時間を数秒にまで短縮（数時間から数秒へ）。
• 数万件のサンプルを含むデータセットでは、CCIは数秒で条件付き独立性検定を完了するが、KCIは数十分から数時間もかかる。
• 強い非線形依存関係下でも、CCIはKCIおよびHarris & Drtonのコプシラベースの検定と同等のタイプIおよびタイプIIエラー率を維持する。
• 高次元設定では、非線形または非ガウス分布の下で失敗する偏相関と比較して、CCIが優れた性能を示す。
• CCIにおける低ランク近似の使用は、検定の力を保持しつつ、大規模なサンプルサイズへのスケーラビリティを実現する。
• fMRIデータに対する実証的結果から、線形手法では捉えきれない意味のある条件付き独立関係をCCIが検出できることを示した。