[論文レビュー] Learning directed acyclic graphs based on sparsest permutations

Garvesh Raskutti, Caroline Uhler|arXiv (Cornell University)|Jul 1, 2013

Bayesian Modeling and Causal Inference参考文献 27被引用数 9

ひとこと要約

この論文は、観測データからベイジアンネットワークを学習するためのスパースな順列（SP）アルゴリズムを提案する。このアルゴリズムは、逆共分散行列のコレスキー分解が最もスパースになる変数の順列を選択することで、有向無閉路グラフ（DAG）のマーコフ同値類を特定する。SPアルゴリズムは、忠実性条件よりも弱い構造的意味的関係（SMR）仮定のもとで統計的一貫性を達成し、PC、SGS、GES、MMHCといった標準的手法よりも精度が高く、特にサンプルサイズとグラフサイズが増加する際の性能が優れているが、計算コストが非常に高い。

ABSTRACT

We consider the problem of learning a Bayesian network or directed acyclic graph (DAG) model from observational data. A number of constraint-based, score-based and hybrid algorithms have been developed for this purpose. For constraint-based methods, statistical consistency guarantees typically rely on the faithfulness assumption, which has been show to be restrictive especially for graphs with cycles in the skeleton. However, there is only limited work on consistency guarantees for score-based and hybrid algorithms and it has been unclear whether consistency guarantees can be proven under weaker conditions than the faithfulness assumption. In this paper, we propose the sparsest permutation (SP) algorithm. This algorithm is based on finding the causal ordering of the variables that yields the sparsest DAG. We prove that this new score-based method is consistent under strictly weaker conditions than the faithfulness assumption. We also demonstrate through simulations on small DAGs that the SP algorithm compares favorably to the constraint-based PC and SGS algorithms as well as the score-based Greedy Equivalence Search and hybrid Max-Min Hill-Climbing method. In the Gaussian setting, we prove that our algorithm boils down to finding the permutation of the variables with sparsest Cholesky decomposition for the inverse covariance matrix. Using this connection, we show that in the oracle setting, where the true covariance matrix is known, the SP algorithm is in fact equivalent to $\ell_0$-penalized maximum likelihood estimation.

研究の動機と目的

• 忠実性条件よりも弱い仮定のもとで一貫性を達成する因果推論アルゴリズムの開発を目的とする。
• サイクルを含むグラフにおいて、標本誤差に敏感な忠実性に依存する制約ベース手法の限界を克服することを目的とする。
• 強い一貫性保証を得るために高い計算複雑性を犠牲にするアルゴリズムを提案することで、因果発見における統計的・計算的トレードオフを確立することを目的とする。
• ガウスノイズなしの設定において、SPアルゴリズムがℓ₀正則化最尤推定と同等であることを示すこと。
• SPアルゴリズムを、PC、SGS、GES、MMHCといった標準的手法と比較し、スケルトン回復精度の観点から実験的に評価すること。

提案手法

• SPアルゴリズムは、すべての変数の順列を探索し、逆共分散行列のコレスキー分解が最もスパースになる順列を特定する。
• ガウスノイズなしの設定では、SPアルゴリズムは精度行列を学習するためのℓ₀正則化最尤推定と数学的に同等である。
• この手法は、制限付き忠実性よりも弱い構造的意味的関係（SMR）仮定に依存しており、これにより一貫性が保証される。
• アルゴリズムは、すべての順列においてエッジ数が最も少ないDAGを選択することでマーコフ同値類を特定する。
• スケルトンの推定には条件付き独立性検定を用い、v構造の推論には方向性ルールを適用するが、中心的な選択基準はコレスキー因子のスパarsityに依存する。
• SPアルゴリズムは計算が非常に高コストであるため、10ノード未満の小規模〜中規模のグラフ（≤10ノード）でのみ実用的であるが、グリーディーな変種により数百ノードへのスケーラビリティが可能となる。

実験結果

リサーチクエスチョン

• RQ1 忠実性よりも弱い仮定のもとでベイジアンネットワークを学習可能か？
• RQ2 SMR仮定のもとでSPアルゴリズムは、制限付き忠実性よりも弱い仮定のもとで一貫性を達成するか？
• RQ3 SPアルゴリズムは、PC、SGS、GES、MMHCといった標準的手法と比較して、精度に優れているか？
• RQ4 より強い一貫性保証を得るために、因果発見における計算コストはどの程度か？
• RQ5 ガウス設定において、SPアルゴリズムはℓ₀正則化最尤推定と同等か？

主な発見

• SPアルゴリズムは、制限付き忠実性仮定よりも弱いSMR仮定のもとで統計的一貫性を達成する。
• ガウスノイズなしの設定では、SPアルゴリズムは逆共分散行列のスパースなコレスキー分解を求めるのと数学的に同等である。
• SPアルゴリズムは、PC、SGS、GES、MMHCよりもスケルトン回復精度が高く、ノード数が5から8に増加する際の性能向上が顕著である。
• p=8、n=10⁴の条件下で、すべての有意水準（α=10⁻²、10⁻³、10⁻⁴）において、90％以上のシミュレーションで正しいスケルトンを回復した。
• SPアルゴリズムは、特にサンプルサイズが大きい際、ベースライン手法よりも誤検出（余分なエッジ）と見逃し（欠落エッジ）が少ない。
• SPアルゴリズムの計算コストは、10ノード未満のグラフに限定されることが示され、明確な統計的・計算的トレードオフが確認された。