[論文レビュー] Testing Conditional Independence on Discrete Data using Stochastic Complexity

Alexander Marx, Jilles Vreeken|arXiv (Cornell University)|Mar 12, 2019

Bayesian Modeling and Causal Inference参考文献 23被引用数 11

ひとこと要約

本稿では、確率的複雑性に基づき、fNMLバージョンを用いて条件付き相互情報量（CMI）を推定する、離散データ向けの新しい条件付き独立性検定であるSCIを提案する。SCIは、サンプル効率を向上させた。SCIはCMIに関して漸近的に不偏であり、L₂で一様収束する。実験的に、G²やガンマ分布の閾値を用いたCMIといった従来の手法よりも優れている。因果探索において、精度を損なわずに再現率を著しく向上させた。

ABSTRACT

Testing for conditional independence is a core aspect of constraint-based causal discovery. Although commonly used tests are perfect in theory, they often fail to reject independence in practice, especially when conditioning on multiple variables. We focus on discrete data and propose a new test based on the notion of algorithmic independence that we instantiate using stochastic complexity. Amongst others, we show that our proposed test, SCI, is an asymptotically unbiased as well as $L_2$ consistent estimator for conditional mutual information (CMI). Further, we show that SCI can be reformulated to find a sensible threshold for CMI that works well on limited samples. Empirical evaluation shows that SCI has a lower type II error than commonly used tests. As a result, we obtain a higher recall when we use SCI in causal discovery algorithms, without compromising the precision.

研究の動機と目的

• 離散データにおける従来の条件付き独立性検定が、特にサンプル数が限られ、条件付き変数の次元が高くなる状況で性能が劣ることを是正すること。
• 条件付き相互情報量（CMI）の推定に関して、漸近的に不偏であり、L₂で一様収束する検定を開発すること。
• サンプルサイズ、ドメインのサイズ、および経験的確率分布を考慮した、原理的かつデータ駆動型のCMIの閾値を提供すること。
• 複数の変数に条件づける際のタイプIIエラーを低減することで、因果探索アルゴリズムにおける再現率を向上させること。

提案手法

• SCIは、アルゴリズム的条件付き独立性の概念に基づき、fNML（有限NML）分布を用いて実装された。
• この手法は、条件付き変数の経験的確率質量関数を組み込むfNML分布を用いてCMIを推定する。これは、単純な近似とは異なり、より正確である。
• SCIはfNML分布から導かれた閾値を用いて統計的有意性を判断し、漸近的近似やガンマ分布の分位点に依存しない。
• このアプローチにより、限られたサンプルに対して意味的でデータ適応的なCMIの閾値が得られ、検出力が向上する。
• fNMLに基づくバージョン（SCI_f）は、qNML（SCI_q）、ガンマ分布に基づく閾値（CMI_Γ）、およびG²検定と、多数の実験設定で比較された。
• 本手法は、合成データおよび実世界のデータ（例：Alarmネットワーク）を用いた安定PCおよびPCMBアルゴリズムを用いた因果探索パイプラインでも評価された。

実験結果

リサーチクエスチョン

• RQ1 G²やガンマ分布の閾値を用いたCMIといった従来手法よりも、確率的複雑性に基づくアプローチが、離散データにおける条件付き独立性検定においてより信頼性が高く、検出力が強いと言えるか？
• RQ2 fNMLを用いた確率的複雑性の実装は、qNMLや経験的推定と比較して、条件付き相互情報量（CMI）の推定においてより正確で一貫性があると言えるか？
• RQ3 複数の変数に条件づける状況、およびサンプルサイズやドメインサイズの変動がある状況で、SCIの第一種および第二種の誤り率はどの程度か？
• RQ4 特に高次元の条件付き変数を含む状況において、SCIは精度を損なわずに因果探索アルゴリズムの再現率を向上させられるか？
• RQ5 理論的結果が示唆するように、SCIは非線形のサンプル複雑性を示すか？ そして、これは実験的に検証可能か？

主な発見

• 安定PCアルゴリズムにおける無向グラフのF1スコアにおいて、SCI_fはG²、CMI_Γ、および他のベンチマークより顕著に優れており、特にサンプル数が少ない場合に顕著である。
• Alarmネットワークにおけるマークオフ・ブラケット探索において、SCI_fはすべての競合手法よりも高い再現率を達成しており、特に条件付き変数の集合が大きい場合に顕著な優位性を示した。
• ドメインサイズが増加する合成データ（最大20まで）において、唯一SCI_fが高い正確性を維持した。他のテストは100％の偽陽性率を示し、正確性が50％まで低下した。
• SCI_fは、標準的手法と比較して、特にノイズが多く、サンプル数が少ない状況で第二種の誤り率を低減し、真の条件付き独立性の検出が向上した。
• 実験的結果から、SCIは非線形のサンプル複雑性を示す可能性があることが示唆された。これは今後の理論的検証の対象となる。
• SCI_fは、ドメインサイズやサンプルサイズの変動に対しても高い性能を維持しており、データのスパarsityや高次元の条件付き変数に対する耐性があることが示された。