[論文レビュー] High-dimensional learning of linear causal networks via inverse covariance estimation

Po‐Ling Loh, Peter Bühlmann|arXiv (Cornell University)|Nov 14, 2013

Bayesian Modeling and Causal Inference参考文献 28被引用数 102

ひとこと要約

この論文は、逆分散共分散推定と動的計画法を用いて、高次元線形ガウスおよび非ガウス因果ネットワークを学習する2段階手法を提案する。誤差の分散が既知または良好に推定されているとき、真のDAGが再重み付けされた二乗ℓ₂損失スコアの唯一の最小化者であることを確立し、真のDAGと代替DAGの間の「ギャップ」条件の下で高次元一貫性を証明する。

ABSTRACT

We establish a new framework for statistical estimation of directed acyclic graphs (DAGs) when data are generated from a linear, possibly non-Gaussian structural equation model. Our framework consists of two parts: (1) inferring the moralized graph from the support of the inverse covariance matrix; and (2) selecting the best-scoring graph amongst DAGs that are consistent with the moralized graph. We show that when the error variances are known or estimated to close enough precision, the true DAG is the unique minimizer of the score computed using the reweighted squared l_2-loss. Our population-level results have implications for the identifiability of linear SEMs when the error covariances are specified up to a constant multiple. On the statistical side, we establish rigorous conditions for high-dimensional consistency of our two-part algorithm, defined in terms of a "gap" between the true DAG and the next best candidate. Finally, we demonstrate that dynamic programming may be used to select the optimal DAG in linear time when the treewidth of the moralized graph is bounded.

研究の動機と目的

• 誤差が非ガウス分布である場合を含め、高次元線形構造方程式モデル（SEMs）における有向非巡回グラフ（DAGs）を統計的に一貫した方法で学習するための手法を開発すること。
• 全DAG探索の計算的非実行可能性に対処するために、逆分散共分散推定から得られる「道徳的グラフ」を用いて探索空間を制限すること。
• 真のDAGがスコアベース選択手順によって一意に回復可能である理論的条件を確立すること。
• グラフィカルラassoと逆分散共分散推定の適用範囲を、ガウスモデルにとどまらず、一般の線形SEMに非ガウス誤差を含む場合にまで拡張すること。
• 道徳的グラフの木幅が有界である場合、動的計画法によりDAG選択ステップを線形時間で効率的に解けることを示すこと。

提案手法

• グラフィカルラassoなどの手法を用いて、連合分布の逆分散共分散行列を推定し、条件付き独立構造を同定する。
• 推定された逆分散共分散行列のサポートから道徳的グラフを構築し、潜在的なDAGのスケルトンを表現する。
• 再重み付けされた二乗ℓ₂損失—特に分解可能スコア関数—を用いて、道徳的グラフに整合する候補DAGを評価する。
• 道徳的グラフに整合するDAGの探索に動的計画法を適用し、木幅が有界であれば線形時間の複雑度を達成する。
• 行列集中不等式を用いて逆分散共分散行列の推定誤差を制限し、高次元漸近的条件下での一貫性を保証する。
• 誤差分散が既知または一貫的に推定されているとき、真のDAGがスコア関数の唯一の最小化者であることを確立する。

実験結果

リサーチクエスチョン

• RQ1 非ガウス線形SEMにおいて、逆分散共分散行列が道徳的グラフの一貫した推定を可能にするか？
• RQ2 真のDAGが再重み付けされた二乗ℓ₂損失スコア関数の唯一の最小化者となる条件は何か？
• RQ3 道徳的グラフを用いてDAGの探索空間を効果的に制限し、スケーラブルな学習を可能にする方法は何か？
• RQ4 真のDAGと代替DAGの間の「ギャップ」条件の下で、2段階アルゴリズムの高次元一貫性保証はどのように確立できるか？
• RQ5 道徳的グラフの木幅が有界である場合、動的計画法を用いてDAG選択問題を効率的に解けるか？

主な発見

• 誤差分散が既知または十分な精度で推定されているとき、真のDAGは再重み付けされた二乗ℓ₂損失スコア関数の唯一の最小化者である。
• 真のDAGと次善の候補DAGの間の「ギャップ」条件の下で、2段階アルゴリズムの高次元一貫性が確立された。
• 道徳的グラフは、非ガウス線形SEMでさえも逆分散共分散行列推定を用いて一貫して推定可能である。
• 道徳的グラフの木幅が有界である場合、動的計画法を用いて最適なDAGを線形時間で特定できる。
• 行列集中不等式により、逆分散共分散推定誤差に一様なバインドが得られ、サブガウス仮定の下で高次元一貫性が保証される。
• このフレームワークにより、グラフィカルラassoと逆分散共分散推定の適用範囲が、ガウスモデルにとどまらず、一般の線形SEMに非ガウス誤差を含む場合にも拡張された。