[論文レビュー] Graphical Nonconvex Optimization for Optimal Estimation in Gaussian Graphical Models

Qiang Sun, Kean Ming Tan+2 more|arXiv (Cornell University)|Jun 4, 2017

Statistical Methods and Inference参考文献 4被引用数 7

ひとこと要約

本稿では、非凸問題を逐次凸近似することで、高次元ガウスグラフィカルモデルにおける図的非凸最適化手法を提案し、オラクル収束速度を達成する。この手法は収縮性質を活用して反復的に推定を改善し、バイアスを低減し、グラフィカルラassoを上回る精度を達成する。理論的保証と実験的検証により、優れた性能が示された。

ABSTRACT

We consider the problem of learning high-dimensional Gaussian graphical models. The graphical lasso is one of the most popular methods for estimating Gaussian graphical models. However, it does not achieve the oracle rate of convergence. In this paper, we propose the graphical nonconvex optimization for optimal estimation in Gaussian graphical models, which is then approximated by a sequence of convex programs. Our proposal is computationally tractable and produces an estimator that achieves the oracle rate of convergence. The statistical error introduced by the sequential approximation using the convex programs are clearly demonstrated via a contraction property. The rate of convergence can be further improved using the notion of sparsity pattern. The proposed methodology is then extended to semiparametric graphical models. We show through numerical studies that the proposed estimator outperforms other popular methods for estimating Gaussian graphical models.

研究の動機と目的

• グラフィカルラassoの収束速度が不十分であり、凸ペナルティによる推定バイアスが原因である問題に対処すること。
• スパース精度行列推定においてオラクル収束速度を達成する計算的に実行可能な手法を開発すること。
• 高次元設定における非凸ペナルティ付き尤度問題を直接解くことの計算不能性を克服すること。
• 統計的性能を維持したまま、半パラメトリックグラフィカルモデルへ手法を拡張すること。

提案手法

• 高次元逆共分散推定におけるバイアス低減を目的として、非凸正則化子を用いたペナルティ付き最尤推定を提案する。
• 非凸問題を逐次的適応的凸プログラムに近似することで、計算の可能性を確保する。
• 収縮性質を用いて反復的改善を保証する：各ステップで前回の推定器に対する誤差を少なくとも1/2に縮小する。
• 推定誤差をフロベニウスノルムで測定し、誤差がオラクルレート √(s/n) に収束することを証明する。
• 既知のサポート構造を活用するスパースネスパターンに配慮した改良を導入し、収束速度のさらなる向上を図る。
• ブレグマン発散と行列ノルム不等式を用いて推定誤差を評価し、理論的一貫性を確立する。

実験結果

リサーチクエスチョン

• RQ1 非凸正則化は、グラフィカルラassoを上回る推定精度を高次元ガウスグラフィカルモデルで達成できるか？
• RQ2 計算効率の良いアルゴリズムを用いて、スパース精度行列推定においてオラクル収束速度を達成できるか？
• RQ3 最適推定の本質的非凸性を保ちつつ、統計的最適性を維持する近似は可能か？
• RQ4 スパースネスパターンは収束速度の加速と推定精度の向上にどのような役割を果たすか？
• RQ5 提案手法は、理論的保証を伴って半パラメトリックグラフィカルモデルへ拡張可能か？

主な発見

• 正則性条件のもとで、初期推定器が悪くても、提案推定量はオラクル収束速度 √(s/n) を達成する。
• 収縮性質により、各反復でフロベニウスノルム誤差が少なくとも半分に縮小され、高速収束が実現される。
• 数値実験において、特に信号強度が強い高次元設定下で、グラフィカルラassoや他の代表的手法を上回る性能を示す。
• 理論的分析により、逐次凸近似による統計的誤差が有界であり、反復ごとに減少することが示された。
• スパースネスパターンの情報利用により、潜在的なグラフ構造への適応性が向上し、収束速度がさらに向上した。
• 本手法は半パラメトリックモデルへ拡張可能であり、分布に関する最小限の仮定のもとで最適な推定性能を維持した。