[論文レビュー] Penalized Maximum Likelihood Estimation of Multi-layered Gaussian Graphical Models

Jiahe Lin, Sumanta Basu+2 more|arXiv (Cornell University)|Jan 5, 2016

Statistical Methods and Inference参考文献 33被引用数 18

ひとこと要約

本稿では、高次元設定における一貫性をbiconvex最適化と一様誤差制御を用いて達成するため、階層的辺（層間の有向辺）と層内辺（無向辺）を交互に推定するブロック座標降下アルゴリズムを用いた、多層ガウス graphical モデルの罰則付き最尤推定量を提案する。

ABSTRACT

Analyzing multi-layered graphical models provides insight into understanding the conditional relationships among nodes within layers after adjusting for and quantifying the effects of nodes from other layers. We obtain the penalized maximum likelihood estimator for Gaussian multi-layered graphical models, based on a computational approach involving screening of variables, iterative estimation of the directed edges between layers and undirected edges within layers and a final refitting and stability selection step that provides improved performance in finite sample settings. We establish the consistency of the estimator in a high-dimensional setting. To obtain this result, we develop a strategy that leverages the biconvexity of the likelihood function to ensure convergence of the developed iterative algorithm to a stationary point, as well as careful uniform error control of the estimates over iterations. The performance of the maximum likelihood estimator is illustrated on synthetic data.

研究の動機と目的

• 有向辺と無向辺を併せ持つ多層 graphical モデルの推定における理論的・計算的手法の不足に対処する。
• 高次元多層ガウス graphical モデルのスケーラブルで一貫性のある推定手順を開発する。
• スクリーニング、有向辺と無向辺の反復推定、および安定性選択を統合し、有限標本における性能を向上させる。
• 高次元漸近的条件下での推定量の一貫性を確立する。
• biconvex性と反復間の一様誤差制御により、局所最適解への収束を保証する。

提案手法

• 変数スクリーニングの後に、有向辺と無向辺の反復推定を実行する二段階の計算的手法を用いる。
• 係数行列 B（有向辺）と精度行列 Θε（無向辺）を交互に推定するため、ブロック座標降下を適用する。
• 各反復で、推定誤差分散を用いて補正された残差を用いた、バイアス補正 Lasso に類似したアプローチにより B を列単位で更新する。
• 非対角成分に ℓ1 ペナルティを課したグラフィカル Lasso (glasso) を用いて精度行列 Θε を更新する。
• 標準的な2ブロック更新と比較して、並列処理が可能で収束が速い、(p₂+1)-ブロック更新戦略を修正して実装する。
• ブートストラップ標本を用いた安定性選択を統合し、選択の正確性を高め、誤検出を低減する。

実験結果

リサーチクエスチョン

• RQ1 高次元多層ガウス graphical モデルにおいて、罰則付き最尤推定量は一貫して推定可能か？
• RQ2 尤度関数の biconvex 構造をどのように活用することで、反復アルゴリズムの収束を保証できるか？
• RQ3 並列処理と反復的更新戦略は、計算効率と推定精度にどのような影響を与えるか？
• RQ4 スクリーニング、反復的推定、安定性選択の組み合わせは、有限標本における性能をどのように向上させるか？
• RQ5 高次元漸近的条件下で、推定量の一貫性に関する理論的保証はどのようなものか？

主な発見

• 提案手法の推定量は、適切な正則化条件のもとで高次元設定でも一貫性を達成する。
• 尤度関数の biconvex 性ときめ細やかな一様誤差制御のおかげで、アルゴリズムは局所最適解に収束する。
• (p₂+1)-ブロック更新と並列処理を用いることで、標準的な2ブロック更新と比較して計算時間を約1/7に短縮できる。
• 合成データ上で、既存手法と比較して計算効率と有限標本性能の両面で優れていることが示された。
• 50個のブートストラップ標本を用いた安定性選択は、頑健な変数選択と推定精度の向上を実現した。
• 回帰と再適合ステップの並列処理により、推定精度を維持しつつ、計算時間を大幅に削減した。