[論文レビュー] Conditional independence testing based on a nearest-neighbor estimator of conditional mutual information

Jakob Runge|arXiv (Cornell University)|Sep 5, 2017

Bayesian Modeling and Causal Inference被引用数 66

ひとこと要約

連続変数の条件付き独立性を近傍推定の条件付き相互情報量 (CMI) を用いた完全非パラメトリック検定と局所置換スキームの組み合わせにより、高度に局所化した密度および非線形依存性に適応可能とする。

ABSTRACT

Conditional independence testing is a fundamental problem underlying causal discovery and a particularly challenging task in the presence of nonlinear and high-dimensional dependencies. Here a fully non-parametric test for continuous data based on conditional mutual information combined with a local permutation scheme is presented. Through a nearest neighbor approach, the test efficiently adapts also to non-smooth distributions due to strongly nonlinear dependencies. Numerical experiments demonstrate that the test reliably simulates the null distribution even for small sample sizes and with high-dimensional conditioning sets. The test is better calibrated than kernel-based tests utilizing an analytical approximation of the null distribution, especially for non-smooth densities, and reaches the same or higher power levels. Combining the local permutation scheme with the kernel tests leads to better calibration, but suffers in power. For smaller sample sizes and lower dimensions, the test is faster than random fourier feature-based kernel tests if the permutation scheme is (embarrassingly) parallelized, but the runtime increases more sharply with sample size and dimensionality. Thus, more theoretical research to analytically approximate the null distribution and speed up the estimation for larger sample sizes is desirable.

研究の動機と目的

• 連続データで、可能性として非線形かつ高次元なデータの条件付き独立性検定に対処する。
• 条件付き相互情報量（CMI）に基づく完全非パラメトリック CI テストを開発する。
• null 分布を Z 依存性を破壊せずに生成する局所的な nearest-neighbor 置換スキームを導入する。
• さまざまなシナリオにおいて、カーネルベースの CI テストと比較して較正と検出力の両方で良好な性能を示す。

提案手法

• X,Y,Z 空間の k_CMI として指定された k を用いた Kozachenko-Leonenko 型 k 最近傍エントロピー推定量で CMI を推定する。
• CMI 推定量を次のように計算する： Ĩ_{XY|Z} = ψ(k) + (1/n) ∑_i [ψ(k_{Z,i}) - ψ(k_{XZ,i}) - ψ(k_{YZ,i})]。
• 各サンプルについて joint space の k_CMI 番目の最近傍から ε_i を決定し、ε_i を用いて各サブ空間で k_{XZ,i}, k_{YZ,i}, k_{Z,i} をカウントする。
• surrogates を生成する局所的 nearest-neighbor 置換スキームを用いる：Z の構造を保ちながら X の値を Z 内のランダムな近傍点へマッピングする。
• null distribution を B 個の surrogates で生成し、Ĩ ≥ Ĩ(X;Y|Z) となる surrogate の割合を p 値として計算する。
• 効率のために KD-tree ベースの最近傍探索を提供する；手法のデータ適応的挙動と k および D における線形に近いスケーリングを指摘する。

実験結果

リサーチクエスチョン

• RQ1 近傍推定の CMI を用いた完全非パラメトリック CI テストを構築して、少ないサンプルサイズと高次元の Z に対しても信頼性を保てるのか。
• RQ2 nearest neighbors を基盤とする局所置換スキームは、非線形依存性の下で kernel ベースの CI テストと比較して良好な較正を提供し、競争力の高い検出力を持つのか。
• RQ3 k_CMI および k_perm の選択が、様々なサンプルサイズと条件付集合次元において較正、検出力、実行時間にどのように影響するのか。
• RQ4 提案された CMIknn 法は、非線形依存性から生じる高度に局在化した密度や非滑らかな密度に対して頑健か。

主な発見

• CMIknn は、少数〜中程度のサンプルサイズと高次元の条件付けに対して良好な較正を示し、難しい密度条件下でいくつかのカーネルベースの検定より較正で優れている。
• 局所置換スキームは、全体的または解析的な null 推定と比較して較正を改善し、特に n が小さい場合に顕著。
• CMIknn は多くの非線形設定で KCIT, RCIT, RCoT, CDC より同等または高い検出力を達成し、特に高度に非線形な依存性に対して強い性能を示す。
• 小さなサンプルサイズの場合、KD-tree 探索を用いると RCIT/RCoT より速くなる可能性がある一方、置換ステップは計算負荷を大きく追加する。
• カリブレーションは、カーネル検定と局所置換スキームを組み合わせることでさらに向上できるが、検出力へのコストが伴う。
• 著者は CMIknn を実装した freely available code を GitHub のリポジトリで提供している。