[論文レビュー] A Recursive Markov Boundary-Based Approach to Causal Structure Learning

Ehsan Mokhtarian, Sina Akbari+2 more|arXiv (Cornell University)|Oct 10, 2020

Bayesian Modeling and Causal Inference参考文献 26被引用数 4

ひとこと要約

本稿では、マークフ・バウンダリー情報を利用し、d-分離関係を保持する「取り除ける」変数（d-分離関係に影響を及ぼさない変数）を同定・削除することで、必要となる条件付き独立性（CI）検定の数を削減する再帰的制約ベースの因果構造学習手法MARVELを提案する。この手法は、𝒪(pΔ_in²2^Δ_in)のCI検定回数を達成し、従来の最先端手法の上限を著しく改善するとともに、Ω(p² + pΔ_in2^Δ_in)の下限を確立することで、理論的効率性を示している。

ABSTRACT

Constraint-based methods are one of the main approaches for causal structure learning that are particularly valued as they are asymptotically guaranteed to find a structure that is Markov equivalent to the causal graph of the system. On the other hand, they may require an exponentially large number of conditional independence (CI) tests in the number of variables of the system. In this paper, we propose a novel recursive constraint-based method for causal structure learning that significantly reduces the required number of CI tests compared to the existing literature. The idea of the proposed approach is to use Markov boundary information to identify a specific variable that can be removed from the set of variables without affecting the statistical dependencies among the other variables. Having identified such a variable, we discover its neighborhood, remove that variable from the set of variables, and recursively learn the causal structure over the remaining variables. We further provide a lower bound on the number of CI tests required by any constraint-based method. Comparing this lower bound to our achievable bound demonstrates the efficiency of the proposed approach. Our experimental results show that the proposed algorithm outperforms state-of-the-art both on synthetic and real-world structures.

研究の動機と目的

• 変数数の増加に伴い指数関数的に増加する可能性があるため、制約ベースの因果構造学習における条件付き独立性（CI）検定回数を削減すること。
• マークフ・バウンダリー情報に基づき、統計的依存関係に影響を及ぼさない変数を同定・削除する再帰的フレームワークの開発。
• いかなる制約ベース手法に対しても必要なCI検定回数の理論的下限を確立し、効率性のベンチマークを提供すること。
• 提案手法MARVELが、既存の手法と比較して、CI検定回数のよりタイトな上界を実際に達成できることを示すこと。

提案手法

• DAGにおけるすべてのd-分離関係を保持する変数（「取り除ける変数」として定義）の概念を導入し、その近傍およびマークフ・バウンダリー構造を用いて図式的に特徴づける。
• PC法や類似手法を用いて各変数のマークフ・バウンダリーを同定し、取り除ける変数の同定を可能にする。
• 再帰的手順を適用：取り除ける変数を同定し、そのエッジを方向付けてからグラフから削除し、残りの変数のマークフ・バウンダリー情報を更新する。
• 因果DAGのインデグリーΔ_inを複雑さの主要パラメータとして用い、最悪ケースにおけるCI検定回数の上限を導出する。
• 再帰的変数削除と制限されたマークフ・バウンダリーのサイズを活用し、MARVELのCI検定回数に対する上界を𝒪(pΔ_in²2^Δ_in)として導出する。
• 敵対的グラフ構築法を用いて、いかなる制約ベース手法に対してもΩ(p² + pΔ_in2^Δ_in)の理論的下限を確立し、必要性を証明する。

実験結果

リサーチクエスチョン

• RQ1 マークフ・バウンダリー情報を利用した再帰的アプローチは、制約ベースの因果構造学習における条件付き独立性（CI）検定回数を削減できるか？
• RQ2 いかなる制約ベース手法に対しても必要なCI検定回数の理論的最小値は何か？ そして、達成可能な上限と比較してどうか？
• RQ3 「取り除ける変数」という概念は、図式的に形式的に定義・特徴づけられ、効率的な再帰的構造学習を可能にするか？
• RQ4 提案されたMARVELアルゴリズムは、既存の最先端手法と比較して、CI検定回数のよりタイトな上界を実際に達成できるか？

主な発見

• MARVELは、最悪ケースにおける必要CI検定回数を𝒪(pΔ_in²2^Δ_in)にまで削減し、従来の最先端手法の𝒪(p²2^α)および𝒪(p² + pα²2^α)の上限（αは最大マークフ・バウンダリーのサイズ）と比較して顕著な改善を示している。
• 同様の下限Ω(p² + pΔ_in2^Δ_in)を確立することで、提案された上界が定数要因を除いて漸近的に最適であることを証明している。
• d-分離関係を保持する変数（取り除ける変数）の再帰的削除により、統計的同等性を維持したまま変数集合の効率的刈り込みが可能になる。
• 理論的解析により、インデグリーΔ_inが有界であれば、最悪ケースにおいてもCI検定回数が変数数に対して指数的ではなく、部分的に指数的でない（sub-exponential）に増加することが示されている。
• 合成データおよび実世界のデータセットにおける実験結果から、MARVELは効率性および因果構造回復の正確性の両面で、最先端手法を上回っていることが示されている。
• クラスタ化された完全グラフや空のグラフなどの敵対的グラフの構築により、いかなる制約ベース手法に対しても最悪ケースでΩ(p² + pΔ_in2^Δ_in)回以上のCI検定が不可避であることが証明されている。