[論文レビュー] Estimating high-dimensional directed acyclic graphs with the PC-algorithm

Markus Kalisch, Peter Bühlmann|ArXiv.org|Oct 20, 2005

Bayesian Modeling and Causal Inference参考文献 25被引用数 611

ひとこと要約

この論文は、変数数 $ p $ が標本サイズ $ n $ の任意の多項式よりも速く増加する高次元の有向非巡回グラフ（DAG）の推定において、PCアルゴリズムの理論的一貫性を確立している。最小限のスパarsity仮定のもとでも、真のDAGスケルトンを一貫して回復できることを示している。この手法は偏相関を用いた条件付き独立性検定に依存しており、実務においてチューニングパラメータの選択に対して頑健であることが示されている。

ABSTRACT

We consider the PC-algorithm Spirtes et. al. (2000) for estimating the skeleton of a very high-dimensional acyclic directed graph (DAG) with corresponding Gaussian distribution. The PC-algorithm is computationally feasible for sparse problems with many nodes, i.e. variables, and it has the attractive property to automatically achieve high computational efficiency as a function of sparseness of the true underlying DAG. We prove consistency of the algorithm for very high-dimensional, sparse DAGs where the number of nodes is allowed to quickly grow with sample size n, as fast as O(n^a) for any 0

研究の動機と目的

• 標本サイズ $ n $ に対して変数数 $ p $ が急速に増加する高次元DAGのスケルトン推定におけるPCアルゴリズムの理論的一貫性を確立すること。
• 近隣ノード数が $ n $ よりも低次のオーダーであるという最小限のスパarsity仮定のもとでも、PCアルゴリズムが計算的に実行可能かつ統計的に一貫するかどうかを示すこと。
• 有限標本における、アルゴリズムの唯一のチューニングパラメータ（有意水準）の選択に対する感受性を、実証的証拠に基づき示すこと。
• $ p > n $ の高次元設定においてPCアルゴリズムの使用に理論的漸近的裏付けを提供し、DAG構造学習の既存手法におけるギャップを埋めること。

提案手法

• PCアルゴリズムを、偏相関を用いた条件付き独立性検定に基づいてエッジを段階的に削除することで、DAGのスケルトンを推定する。
• 完全な無向グラフから出発し、最大レベル $ m_n $ まで、条件付き変数の集合を段階的に増加させながら、条件付き独立性をテストする。
• 条件付き独立性は有意水準 $ \alpha_n = 2(1 - \Phi(n^{1/2}c_n/2)) $ を用いて評価され、標本サイズに応じて小さくなるように設定され、一貫性を確保する。
• この手法は忠実性仮定とd-分離基準に依存し、データにおける条件付き独立性とグラフ構造の関係を結びつける。
• 理論的分析では、偏相関の標本分布に対する集中不等式と尾部バウンドを用いて、第一種および第二種の誤りを制御する。
• 証明により、$ n \to \infty $ のとき、$ p = O(n^a) $（任意の $ 0 < a < \infty $）であっても、ややいなやスパarsity条件下でエッジ選択の誤り確率が消えることが示された。

実験結果

リサーチクエスチョン

• RQ1 変数数 $ p $ が標本サイズ $ n $ の任意の多項式よりも速く増加する高次元DAGにおいて、PCアルゴリズムはスケルトンを一貫して推定できるか？
• RQ2 近隣ノード数が $ n $ よりも低次のオーダーであるという最小限のスパarsity仮定のもとでも、PCアルゴリズムは一貫性を保つのか？
• RQ3 有限標本において、PCアルゴリズムはその唯一のチューニングパラメータ（有意水準）の選択にどれほど感受的か？
• RQ4 $ p > n $ の高次元設定において、PCアルゴリズムが一貫したDAGスケルトン回復を達成する条件は何か？
• RQ5 変数数 $ p $ が $ n $ よりも超多項式的に増加する場合でも、PCアルゴリズムは計算的に実行可能かつ統計的に妥当か？

主な発見

• 最小限のスパarsity仮定のもとで、$ p = O(n^a) $（任意の $ 0 < a < \infty $）かつ $ n \to \infty $ のとき、PCアルゴリズムは高次元DAGのスケルトン推定に関して理論的に一貫していることが保証される。
• アルゴリズムは、$ p $ が $ n $ の任意の多項式よりも速く増加する場合でも、その適応的スパarsityに配慮した構造のおかげで、計算的実行可能性と統計的一致性を維持する。
• エッジ選択の誤り確率は指数関数的に急速に減少し、具体的には $ O(\exp(-C_5(n - m_n)c_n^2)) $ で有界であり、$ n \to \infty $ のとき消える。
• 有意水準 $ \alpha_n $ の選択に対して、実証的結果により一貫した性能が示されたため、PCアルゴリズムは頑健である。
• 真のDAGの近隣ノード数が $ n $ よりも遅く増加する場合でも、PCアルゴリズムは一貫性を示す。これは、広範な高次元モデルクラスに適用可能であることを意味する。
• 理論的結果により、停止レベル $ m_n $ が $ m_n = O(n^{1-b}) $ となるように選ばれれば、標本PCアルゴリズムが高確率で母集団バージョンと一致することが確認された。