[論文レビュー] Learning linear structural equation models in polynomial time and sample complexity

Asish Ghoshal, Jean Honorio|arXiv (Cornell University)|Jul 14, 2017

Bayesian Modeling and Causal Inference被引用数 9

ひとこと要約

本稿では、忠実性やガウス性の仮定を緩和した一般化された同定可能性条件を活用することで、証明可能な計算的・統計的効率性を達成する、純粋に観測データからの線形構造的方程式モデル（SEMs）の学習のための新規アルゴリズムを提示する。この手法は、精度行列の推定と反復的なシンク頂点の削除により、正確なDAGの回復を可能にし、スパarsity下では$\widetilde{\mathcal{O}}(p^3 + pd^7)$、密行列の場合には$\widetilde{\mathcal{O}}(p^5)$の複雑さで多項式時間かつ多項式サンプル複雑性を達成する。

ABSTRACT

The problem of learning structural equation models (SEMs) from data is a fundamental problem in causal inference. We develop a new algorithm --- which is computationally and statistically efficient and works in the high-dimensional regime --- for learning linear SEMs from purely observational data with arbitrary noise distribution. We consider three aspects of the problem: identifiability, computational efficiency, and statistical efficiency. We show that when data is generated from a linear SEM over $p$ nodes and maximum degree $d$, our algorithm recovers the directed acyclic graph (DAG) structure of the SEM under an identifiability condition that is more general than those considered in the literature, and without faithfulness assumptions. In the population setting, our algorithm recovers the DAG structure in $\\mathcal{O}(p(d^2 + \\log p))$ operations. In the finite sample setting, if the estimated precision matrix is sparse, our algorithm has a smoothed complexity of $\\widetilde{\\mathcal{O}}(p^3 + pd^7)$, while if the estimated precision matrix is dense, our algorithm has a smoothed complexity of $\\widetilde{\\mathcal{O}}(p^5)$. For sub-Gaussian noise, we show that our algorithm has a sample complexity of $\\mathcal{O}(\\frac{d^8}{\\varepsilon^2} \\log (\\frac{p}{\\sqrt{\\delta}}))$ to achieve $\\varepsilon$ element-wise additive error with respect to the true autoregression matrix with probability at most $1 - \\delta$, while for noise with bounded $(4m)$-th moment, with $m$ being a positive integer, our algorithm has a sample complexity of $\\mathcal{O}(\\frac{d^8}{\\varepsilon^2} (\\frac{p^2}{\\delta})^{1/m})$.

研究の動機と目的

• 高次元設定下で、純粋に観測データからの線形SEMの学習に計算的・統計的に効率的なアルゴリズムを開発すること。
• 忠実性やガウス性の仮定を超える同定可能性条件を一般化し、より弱い仮定のもとでDAG構造の回復を可能にすること。
• 有界誤差での自己回帰行列推定に、多項式時間複雑性と最適なサンプル複雑性を達成すること。
• 条件付き独立性テストや忠実性仮定に依存しないようにし、これらは検証が難しくかつ実用上しばしば制限的であることを回避すること。
• ガウス性・非ガウス性の両方のノイズに適応する非パラメトリック手法を提供し、収束保証を明示すること。

提案手法

• アルゴリズムは逆共分散（精度）行列を入力とし、$\mathcal{O}(p(d^2 + \log p))$の演算でSEMの構造とパラメータをCholeskyに類似した分解により回復する。
• DAGから端点（シンク）頂点を反復的に特定・削除し、精度行列のスパarsityパターンを構造学習の指針とする。
• 各反復では、精度行列がスパースの場合、$d^2$次元の線形計画問題を最大$d$個解く必要があり、滑らか化された複雑さは$\widetilde{\mathcal{O}}(p^3 + pd^7)$となる。
• 精度行列が密な場合、複雑さは$\widetilde{\mathcal{O}}(p^5)$にスケーリングされ、指数時間の代替手法に比べて顕著に優れている。
• 精度行列は$p$個の線形計画問題を用いて推定し、正則化を適用して自己回帰行列の一貫性ある推定を保証する。
• 分散スケーリングと非ガウス性に基づく新しい同定可能性条件を確立し、これらが同定可能性に十分条件であることを示し、一般には必要条件であることも示した。

実験結果

リサーチクエスチョン

• RQ1 忠実性やガウス性の仮定に依存せず、多項式時間および多項式サンプル複雑性で線形SEMを学習可能か？
• RQ2 観測データからの線形SEMのDAG構造が、最小限の条件下で同定可能となるのはどのような条件か？
• RQ3 スパースおよび密な精度行列の両状況下で、アルゴリズムの複雑さが変数数$p$および最大次数$d$に対してどのようにスケーリングされるか？
• RQ4 高確率で$\varepsilon$-誤差以内に自己回帰行列を推定するための最適なサンプル複雑性は何か？
• RQ5 $d = o(p)$である高次元設定下で、先行研究に比べてより優れたサンプル複雑性を達成可能か？

主な発見

• 一般化された同定可能性条件下で、母集団設定下では$\mathcal{O}(p(d^2 + \log p))$の演算で真のDAG構造が回復可能である。
• 有限標本設定下では、推定精度行列がスパースの場合、滑らか化された複雑さは$\widetilde{\mathcal{O}}(p^3 + pd^7)$、密な場合には$\widetilde{\mathcal{O}}(p^5)$である。
• サブガウス性ノイズの場合、自己回帰行列の$\varepsilon$-誤差を確率$1 - \delta$以上で達成するためのサンプル複雑さは$\mathcal{O}(\frac{d^8}{\varepsilon^2} \log(\frac{p}{\sqrt{\delta}}))$である。
• 4m次のモーメントが有界なノイズの場合、サンプル複雑さは$\mathcal{O}(\frac{d^8}{\varepsilon^2} (\frac{p^2}{\delta})^{1/m})$となり、高次元領域で先行研究を改善する。
• 忠実性や条件付き独立性テストに依存せず、弱い因果的最小性条件のみに依存する。
• 同定可能性条件が一般には必要であることが示され、非可算なパrameter設定のもとで、同一の共分散および精度行列を誘導する指数的多数のDAGが存在することがある。