[論文レビュー] Learning Directed Acyclic Graphs with Penalized Neighbourhood Regression

Bryon Aragam, Arash A. Amini+1 more|arXiv (Cornell University)|Nov 29, 2015

Bayesian Modeling and Causal Inference参考文献 48被引用数 34

ひとこと要約

本稿は、$p \gg n$ の高次元多変量正規分布データから、高次元の有向無閉路グラフ（DAG）を学習するためのペナルティ付き近傍回帰手法を提案する。DAGを再帰的線形構造方程式モデル（SEM）として解釈し、すべての可能な近傍について一様に近傍回帰を分析することで、変数順序が事前に与えられていない状況においても、MCP、SCAD、$\ell_1$、$\ell_0$ を含む凹正則化の下で、スコアベースDAG推定器に対する最初の有限標本におけるサポート回復と乖離バウンドを確立する。

ABSTRACT

We study a family of regularized score-based estimators for learning the structure of a directed acyclic graph (DAG) for a multivariate normal distribution from high-dimensional data with $p\gg n$. Our main results establish support recovery guarantees and deviation bounds for a family of penalized least-squares estimators under concave regularization without assuming prior knowledge of a variable ordering. These results apply to a variety of practical situations that allow for arbitrary nondegenerate covariance structures as well as many popular regularizers including the MCP, SCAD, $\ell_{0}$ and $\ell_{1}$. The proof relies on interpreting a DAG as a recursive linear structural equation model, which reduces the estimation problem to a series of neighbourhood regressions. We provide a novel statistical analysis of these neighbourhood problems, establishing uniform control over the superexponential family of neighbourhoods associated with a Gaussian distribution. We then apply these results to study the statistical properties of score-based DAG estimators, learning causal DAGs, and inferring conditional independence relations via graphical models. Our results yield---for the first time---finite-sample guarantees for structure learning of Gaussian DAGs in high-dimensions via score-based estimation.

研究の動機と目的

• 高次元データにおけるスコアベースDAG学習の広範な使用と、そのような手法に対する理論的保証の不足の間のギャップを埋めること。
• 既知の変数順序を仮定せずに、高次元DAGモデルにおけるペナルティ付き最小二乗推定量の有限標本におけるサポート回復と乖離バウンドを確立すること。
• 一般の非退化共分散構造の下で、MCP、SCAD、$\ell_1$、$\ell_0$ を含む凹正則化の下でスコアベースDAG推定器の統計的性質を分析すること。
• ガウス型DAGにおける近傍回帰問題のための新しい統計的枠組みを提供し、超指数的家族の近傍に対して一様な制御を可能にすること。

提案手法

• 本手法はDAGを再帰的線形構造方程式モデル（SEM）として解釈し、構造学習問題を一連の近傍回帰問題に還元する。
• 凹正則化子 $ \rho_\lambda $ を用いたペナルティ付き最小二乗（PLS）スコア関数 $ Q(B) = \frac{1}{2n}\|\mathbf{X} - \mathbf{X}B\|_2^2 + \rho_\lambda(B) $ を採用する。
• 各近傍回帰の経験的誤差を濃度不等式を用いてバウンドすることで、超指数的家族の近傍全体にわたる一様な乖離制御を確立する。
• 推定量が良好に動作する可能性のあるDAG順序の集合を特徴付けるために、ランダムな置換の集合 $ \mathbb{S}_p^0 $ を導入する。
• 単調性の議論とすべての可能な近傍集合にわたる和集合バウンドを活用し、経験的損失がその期待値から乖離する確率的バウンドを導出する。
• 正則化パスと真のDAG構造に関する仮定と、これらの近傍レベルのバウンドを組み合わせることで、理論的保証を導出する。

実験結果

リサーチクエスチョン

• RQ1 スコアベースDAG推定器は、$ p \gg n $ の高次元設定において、既知の変数順序を仮定せずに、有限標本におけるサポート回復保証を達成できるか？
• RQ2 凹正則化（例：MCP、SCAD、$ \ell_1 $、$ \ell_0 $）を用いたペナルティ付き最小二乗推定量は、一般の非退化共分散構造の下で一貫した構造学習を達成できるか？
• RQ3 真のDAGが同定可能で因果的であると仮定した場合、スコアベースDAG学習の統計的性質を厳密に分析できるか？
• RQ4 近傍回帰は、高次元推定におけるDAGの超指数的家族に対して一様な制御を可能にする役割を果たすか？
• RQ5 検証不能な仮定に依存せずに、DAG推定における経験的損失の高確率での乖離バウンドを確立できるか？

主な発見

• 本稿は、$ p \gg n $ の高次元設定において、凹正則化の下でスコアベースDAG推定器に対する最初の有限標本におけるサポート回復保証を確立する。
• ガウス型DAGに関連する超指数的家族の近傍全体にわたる一様な乖離バウンドを提供し、近傍回帰誤差の高確率制御を可能にする。
• MCP、SCAD、$ \ell_1 $、$ \ell_0 $ を含む広範な正則化子のクラスに対して、変数順序の事前知識が不要な状況でサポート回復を達成する。
• $ u = \sqrt{2(C+1)(d+1)\log p} $ の場合、推定量が真のDAG構造を回復しない確率は $ 2e^{-C(d+1)\log p} $ で抑えられ、これは $ p $ に関して多項式的に減少する。
• 解析により、真のDAG $ \pi_0 $ は弱い正則性条件のもとで集合 $ \mathbb{S}_p^0 $ に属することが示され、推定量の一貫性が保証される。
• 隣接行列のスパarsityを仮定せず、既知の順序を仮定せず、広範な高次元DAGモデルに適用可能な結果を導出する。