[論文レビュー] Consistency Guarantees for Greedy Permutation-Based Causal Inference Algorithms

Liam Solus, Yuhao Wang+1 more|arXiv (Cornell University)|Feb 12, 2017

Bayesian Modeling and Causal Inference被引用数 5

ひとこと要約

本稿では、因果構造学習における貪欲な順列ベースのアルゴリズムについて、初めての一貫性保証を提示している。特に、順列の置換多面体の部分多面体であるDAGアソシアヘドロン上での貪欲なスパースな順列探索が、忠実性よりも弱い仮定のもとでも一様かつ高次元の一貫性を達成することを示している。この手法は計算的にも効率よくスケーリングでき、シミュレーションおよび実データにおいて既存の手法を上回る性能を示しながらも、理論的厳密性を維持している。

ABSTRACT

Directed acyclic graphical models, or DAG models, are widely used to represent complex causal systems. Since the basic task of learning such a model from data is NP-hard, a standard approach is greedy search over the space of directed acyclic graphs or Markov equivalence classes of directed acyclic graphs. As the space of directed acyclic graphs on $p$ nodes and the associated space of Markov equivalence classes are both much larger than the space of permutations, it is desirable to consider permutation-based greedy searches. Here, we provide the first consistency guarantees, both uniform and high-dimensional, of a greedy permutation-based search. This search corresponds to a simplex-like algorithm operating over the edge-graph of a sub-polytope of the permutohedron, called a DAG associahedron. Every vertex in this polytope is associated with a directed acyclic graph, and hence with a collection of permutations that are consistent with the directed acyclic graph ordering. A walk is performed on the edges of the polytope maximizing the sparsity of the associated directed acyclic graphs. We show via simulated and real data that this permutation search is competitive with current approaches.

研究の動機と目的

• 貪欲な順列ベースの因果推論アルゴリズムに理論的一貫性保証が欠けているという問題に取り組む。
• 非貪欲なスパースな順列アルゴリズム（計算的に非現実的であるO(p!)時間）の代替として、スケーラブルな手法を開発する。
• 忠実性よりも弱い仮定のもとで一様かつ高次元の一貫性を確立し、頑健な構造学習を可能にする。
• シミュレーションおよび実データにおいて、PCアルゴリズムや貪欲同値探索（GES）といった最先端手法と比較して、競争力のある性能を示す。

提案手法

• アルゴリズムは、各頂点がDAGとその一貫性のある順列に対応する、DAGアソシアヘドロンと呼ばれる多面体上で動作する。これは置換多面体の部分多面体である。
• DAGアソシアヘドロンの辺を対象とした単 simplex に類似した貪欲な探索が行われ、各ステップでスコア関数を改善する辺の入れ替えによってスパースなDAGを優先する。
• 条件付き独立性検定を用いてガウスグラフィカルモデルにおける偏相関係数に基づく仮説検定により、エッジの存在を推定する。
• 順列選択をガイドする最小次数ヒューリスティクスを用いることで、探索空間を縮小し、計算効率を向上させる。
• 高次元漸近的条件下での正しい順列回復確率の上限を示すことで理論的一貫性を確立し、偏相関係数検定における集中不等式を活用する。
• 全列挙を避けるために、スコアを改善する移動のみを制限し、先行研究で用いられた移動の厳密な部分集合に限定することで、効率性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 因果構造学習のための貪欲な順列ベースのアルゴリズムが理論的一貫性保証を達成できるか？
• RQ2 このようなアルゴリズムが忠実性よりも弱い仮定のもとでも一貫性を維持できるか？
• RQ3 高次元設定（p ≫ n）においても、一貫性と性能を維持しながらスケーリング可能か？
• RQ4 貪欲なスパース順列アルゴリズムの構造回復性能は、PCアルゴリズムやGESといった既存手法と比べてどうか？
• RQ5 提案手法の計算効率は、既存の貪欲および非貪欲アプローチと比べてどの程度か？

主な発見

• 提案された貪欲なスパース順列アルゴリズムは、忠実性よりも弱い仮定のもとでも一様かつ高次元的一貫性を達成し、順列ベース手法の理論的有効性を拡張している。
• 高次元漸近的条件下（n → ∞ かつ p が n の多項式的に増加）で、確率 1 - O(exp(−cn^{1−2ℓ})) 以上で理論的一貫性が保証される（c > 0 である）。
• シミュレーションおよび実データ実験において、エッジ予測のAUC性能でPCアルゴリズムやGESを上回っている。PCアルゴリズムとGESは、ランダムな推測と同程度の性能を示している。
• 最悪ケースではO(p!)時間で実行されるが、実際には貪欲なプルーニングと制限された移動集合のおかげで、計算効率が高く、実用的である。
• Pythonパッケージ（causaldag）としてより高速な実装が利用可能となっており、概念実証を超えた実用的妥当性を示している。
• 先行研究のアルゴリズムで用いられる移動のうち、スコアを改善しないことが保証されているものを除外しているため、効率性が向上し、実行時間の観点でも有利な性能を発揮している。