[論文レビュー] Concave Penalized Estimation of Sparse Gaussian Bayesian Networks

Bryon Aragam, Qing Zhou|arXiv (Cornell University)|Jan 4, 2014

Bayesian Modeling and Causal Inference参考文献 55被引用数 47

ひとこと要約

本稿では、探索空間を制限せずに、高次元の観測データからスパースなガウスベイジアンネットワークを学習する高速で非凸なペナルティ付き尤度法を提案する。SCAD や MCP などの凹関数ペナルティを用いることで、従来の手法よりも高速かつ感度に優れた構造学習性能を達成し、非忠実な分布に対しても理論的保証を提供する。

ABSTRACT

We develop a penalized likelihood estimation framework to estimate the structure of Gaussian Bayesian networks from observational data. In contrast to recent methods which accelerate the learning problem by restricting the search space, our main contribution is a fast algorithm for score-based structure learning which does not restrict the search space in any way and works on high-dimensional datasets with thousands of variables. Our use of concave regularization, as opposed to the more popular $\ell_0$ (e.g. BIC) penalty, is new. Moreover, we provide theoretical guarantees which generalize existing asymptotic results when the underlying distribution is Gaussian. Most notably, our framework does not require the existence of a so-called faithful DAG representation, and as a result the theory must handle the inherent nonidentifiability of the estimation problem in a novel way. Finally, as a matter of independent interest, we provide a comprehensive comparison of our approach to several standard structure learning methods using open-source packages developed for the R language. Based on these experiments, we show that our algorithm is significantly faster than other competing methods while obtaining higher sensitivity with comparable false discovery rates for high-dimensional data. In particular, the total runtime for our method to generate a solution path of 20 estimates for DAGs with 8000 nodes is around one hour.

研究の動機と目的

• 従来の手法が計算的に非効率となる高次元の観測データからスパースなガウスベイジアンネットワークを学習する課題に対処すること。
• 探索空間を制限しないスコアベースの構造学習アルゴリズムの開発。忠実性仮定を避け、変数の順序付けや実験データが不要な手法を実現すること。
• $ε_1$ 正則化の限界を克服するため、SCAD や MCP などの凹関数ペナルティを導入し、スパarsity と推定精度を向上させること。
• 真の DAG が忠実でない場合でも、モデル選択の一貫性を保証する理論的根拠を提供すること。マコフ同値クラスの同定不能性を独自の方法で取り扱う。
• 最大 8,000 個の変数を含むデータセットへのスケーラビリティを実証し、大規模ネットワークにおいてニアリアルタイム性能を達成すること。

提案手法

• 構造学習を、条件付き独立関係を表現する構造方程式モデルを用いたペナルティ付き尤度最適化問題として定式化する。
• SCAD や MCP のような凹関数ペナルティ $p_{λ}(\cdot)$ を精度行列のエッジ係数に適用し、スパarsity を誘導し、$ε_1$ 正則化のバイアスを回避する。
• 非凸最適化問題を効率的に解くために座標降下法を用い、$p \gg n$ の高次元設定へのスケーラビリティを実現する。
• チューニングパラメータの範囲にわたる推定値を計算する解パスアルゴリズムを導入し、交差検証や情報量基準によるモデル選択を可能にする。
• 局所的最大値の分析と集中不等式による推定誤差の制御を通じて、一般条件（非忠実な分布を含む）下での理論的一致性を確立する。
• 凹関数ペナルティが $t \geq 0$ で $p_{λ}(0) = 0$ を満たし、非減少かつ凹関数であることに着目し、弱い正則性条件の下で望ましいオラクル性質を保証する。

実験結果

リサーチクエスチョン

• RQ1 非凸なペナルティ付き尤度フレームワークは、忠実性仮定をしない高次元ガウスベイジアンネットワークにおいて、一貫した構造学習を達成できるか？
• RQ2 DAG推定において、SCAD や MCP などの凹関数正則化は $ε_1$ 正則化と比べて感度と誤検出率の両面で優れているか？
• RQ3 数千の変数に対しても、枝刈りや探索空間の制限なしに、全 DAG 空間を探索する高速なスコアベースのアルゴリズムを設計可能か？
• RQ4 マコフ同値クラスが同定不能な非忠実な分布下で、推定量の理論的性質はどのようなものか？
• RQ5 大規模データセットにおいて、提案手法は既存の最先端手法と比べて実行時間と精度でどのようにスケーリングするか？

主な発見

• 8,000 ノードを有する DAG に対して、解パスを約 1 時間で達成し、競合手法と比べて著しく高速な実行時間を達成した。
• 高次元データにおいて、他の手法と同等の誤検出率を維持しながらも、より高い感度を達成しており、真のエッジの検出能力が優れていることが示された。
• ベイジアンネットワーク構造学習の文脈において、SCAD や MCP などの凹関数ペナルティは $ε_1$ 正則化よりも優れた推定性能を示した。
• 理論的結果により、真の DAG 構造が忠実でない場合でも、マコフ同値に依存しないことで、推定量が一貫して真の構造を選択することが示された。
• $p \gg n$ の高次元設定に対しても、シミュレーションおよび実データを通じて一貫した性能を示し、ロバストであることが確認された。
• オープンソースの R パッケージを用いた実証的比較により、アルゴリズムが従来のスコアベース手法よりも顕著に高速であり、精度を維持または向上させていることが確認された。