[論文レビュー] Fast Conditional Independence Test for Vector Variables with Large Sample Sizes

Krzysztof Chalupka, Pietro Perona+1 more|arXiv (Cornell University)|Apr 8, 2018

Bayesian Modeling and Causal Inference参考文献 15被引用数 10

ひとこと要約

この論文では、大規模な標本サイズと高次元ベクトルデータにおいて、条件付き独立性を高効率にテストする非パラメトリック手法である Fast (Conditional) Independence Test (FIT) を提案する。FIT は、既存のカーネルベースおよびパーミュテーションベースの手法と比較して、特に標本サイズが増加する際、著しく高速な計算を実現しながら、第一種および第二種の誤り率を低く維持する。これは、遺伝学や神経画像解析のような大規模データセットにおける因果探索に最適である。

ABSTRACT

We present and evaluate the Fast (conditional) Independence Test (FIT) -- a nonparametric conditional independence test. The test is based on the idea that when $P(X \mid Y, Z) = P(X \mid Y)$, $Z$ is not useful as a feature to predict $X$, as long as $Y$ is also a regressor. On the contrary, if $P(X \mid Y, Z) eq P(X \mid Y)$, $Z$ might improve prediction results. FIT applies to thousand-dimensional random variables with a hundred thousand samples in a fraction of the time required by alternative methods. We provide an extensive evaluation that compares FIT to six extant nonparametric independence tests. The evaluation shows that FIT has low probability of making both Type I and Type II errors compared to other tests, especially as the number of available samples grows. Our implementation of FIT is publicly available.

研究の動機と目的

• 高次元ベクトル変数および大規模な標本サイズに適したスケーラブルで非パラメトリックな条件付き独立性検定の開発を目的とする。
• 大規模データ環境下における、既存のカーネルベースおよびパーミュテーションベースの CIT の計算ボトルネックを解決することを目的とする。
• FIT の性能を、多様なデータ分布および標本サイズにおいて評価し、第一種および第二種の誤り率の制御に焦点を当てる。
• 因果探索および大規模データにおける統計的推論のための実用的で公開可能なツールの提供を目的とする。
• FIT が、標本サイズの増加に伴っても低誤り率と高速な実行時間を維持するかどうかを示すこと。他の競合手法とは異なり、その性能が劣化しないこと。

提案手法

• FIT は、X を Y と Z で回帰するモデルと、X を Y のみで回帰するモデルの二つの回帰モデルの平均二乗誤差（MSE）を比較することで、条件付き独立性を検定する。
• 計算効率と最小限のハイパーパrameterチューニングで高次元入力を扱えることから、決定木回帰（DTR）をベースラーニングとして採用している。
• p値は、応答変数 X をパーミュテーションし、観測された MSE 差とそのパーミュテーションから生成された帰無分布を比較することで計算される。
• この検定は非パラメトリックかつモデルに依存しない設計であり、Z が Y を与えたときに持つ予測力のみに依存して条件付き依存性を評価する。
• 高速で微分可能である回帰アプローチを用いることで、カーネル行列の計算コストを回避し、100,000件以上の標本を含むデータセットへのスケーラビリティを実現している。
• アルゴリズムは Python で実装されており、再現性および因果探索パイプラインへの統合を目的として GitHub で公開されている。

実験結果

リサーチクエスチョン

• RQ1 非パラメトリックな条件付き独立性検定は、大規模な標本サイズおよび高次元ベクトル変数において、第一種および第二種の誤り率を低く維持しながらスケーラブルに動作できるか？
• RQ2 多様なデータ分布および標本サイズにおいて、FIT の誤り率制御および実行時間の性能は、6つの既存の非パラメトリック CIT と比較してどうなるか？
• RQ3 決定木回帰による MSE の改善に依存する FIT のアプローチは、特に高次元設定下でも、さまざまな条件付き依存構造に対して堅牢であるか？
• RQ4 標本サイズの増加に伴い、FIT の p 値の挙動はどのように変化するか？また、漸近的極限において正しい統計的性質を保っているか？
• RQ5 実世界の応用において、KCIT や CHSIC や RCIT と比較して、FIT をどの条件下で優先すべきか？

主な発見

• FIT は、100,000件の標本を含む大規模データセットにおいて、6つの競合手法すべてを著しく上回る高速な実行時間を達成しており、テストは数秒で完了する一方、他の手法は数分から数時間もかかる。
• FIT は、すべてのテストされた標本サイズおよびデータ分布において、第一種および第二種の誤り率を低く維持しており、標本サイズが増加するにつれて他の手法を上回る。
• RCIT とは異なり、標本サイズが大きくなると p 値の分布が一様でなくなる（誤った統計的性質）傾向を示すが、FIT は帰無仮説下でも一様な p 値分布を維持しており、正しい統計的性質を示している。
• 高次元設定（例：128次元）では、FIT は RCIT や CCI、KCIPT よりも一貫して精度と速度で優れており、RCIT は1,000件を超える標本数では正しい p 値の挙動を維持できなかった。
• 1,000件未満の標本数の低次元データでは、CHSIC や KCIT が FIT を上回る性能を示しており、これはスケーラビリティと性能のトレードオフが小さい標本数の状況で顕著に現れている。
• 著者らは、高次元ベクトル変数を含む大規模因果探索タスクにおいて、FIT をデフォルトの選択肢として推奨する。ただし、小規模・低次元の設定では、CHSIC や KCIT がより好ましい場合がある。