[論文レビュー] Speeding Up Latent Variable Gaussian Graphical Model Estimation via Nonconvex Optimizations

Pan Xu, Jian Ma+1 more|arXiv (Cornell University)|Feb 28, 2017

Gaussian Processes and Bayesian Inference参考文献 29被引用数 10

ひとこと要約

本稿では、核ノルムペナルティの代わりに行列因子分解を用いる非凸最適化アプローチを提案し、交替勾配降下法とハードスレッショーディングを組み合わせることで、潜在変数付きガウスグラフィカルモデル（LVGGM）推定を高速化する。この手法は、真のスパースかつ低ランク成分へ線形収束を達成し、最適な統計的誤差の範囲内に収まり、1反復あたりの計算量をO(d³)からO(d²r)に削減する。合成データおよびゲノムデータにおいて、凸緩和法を著しく上回る性能を発揮する。

ABSTRACT

We study the estimation of the latent variable Gaussian graphical model (LVGGM), where the precision matrix is the superposition of a sparse matrix and a low-rank matrix. In order to speed up the estimation of the sparse plus low-rank components, we propose a sparsity constrained maximum likelihood estimator based on matrix factorization, and an efficient alternating gradient descent algorithm with hard thresholding to solve it. Our algorithm is orders of magnitude faster than the convex relaxation based methods for LVGGM. In addition, we prove that our algorithm is guaranteed to linearly converge to the unknown sparse and low-rank components up to the optimal statistical precision. Experiments on both synthetic and genomic data demonstrate the superiority of our algorithm over the state-of-the-art algorithms and corroborate our theory.

研究の動機と目的

• 各反復で高価な特異値分解（SVD）を必要とする、LVGGM推定のための凸緩和法の高い計算コストに対処すること。
• スパースかつ低ランクの精度行列を推定するための、従来のペナルティ付き凸最適化手法の代替として、より高速でスケーラブルな手法を開発すること。
• 潜在変数を含む高次元設定において、収束性と統計的精度に関する理論的保証を確立すること。
• 時間計算量の削減により、大規模なゲノムデータや高次元データへのLVGGMの実用的応用を可能にすること。

提案手法

• 低ランク成分をL = ZZ⊤（Z ∈ ℝ^{d×r}）として再パrameter化するスパarsity制約付き最尤推定器を提案。
• 特異値分解を回避するため、核ノルムペナルティを低ランク行列因子分解に置き換え、1反復あたりの計算量をO(d³)からO(d²r)に削減。
• スパarsityの強制と低ランク構造の維持のため、ハードスレッショーディングを組み込んだ交替勾配降下法を開発。
• 収束を保証するため、初期推定値が真の成分から十分に近いことを保証する新しい初期化手順を採用。
• 核ノルム正則化の計算負荷を回避しつつ統計的一致性を維持する非凸最適化を採用。
• 理論的分析により、真の成分へ最適な統計的誤差範囲内で線形収束が保証されることを証明。

実験結果

リサーチクエスチョン

• RQ1 非凸最適化と行列因子分解を用いることで、凸緩和法と比較してLVGGM推定の計算時間を著しく短縮できるか？
• RQ2 適切な初期化のもとで、提案手法は真のスパースおよび低ランク成分へ線形収束を達成するか？
• RQ3 提案推定量の統計的誤差率は何か？ これはLVGGMのミニマックス最適レートと一致するか？
• RQ4 dが大きい高次元ゲノムデータにおいて、SVDベースの手法が非現実的となる状況でも、アルゴリズムはスケーラブルか？
• RQ5 提案手法は、合成データおよび実世界データの両方において、最先端のアルゴリズムと比較してどのように性能を発揮するか？

主な発見

• 提案手法は、最適な統計的誤差範囲内で真のスパースおよび低ランク成分へ線形収束を達成し、収束速度はミニマックス下界と一致する。
• 1反復あたりの時間計算量をO(d³)からO(d²r)に削減し、高次元問題へのスケーラビリティを実現。
• 理論的分析により、推定量がフロベニウスノルム誤差率O_p(√(s* log d / n) + √(r d / n))を達成することが確認され、これはミニマックス最適レートと一致する。
• 合成データにおける実験では、提案手法は凸緩和法よりも収束が早く、推定誤差も低くなる。
• 実際の乳がんゲノムデータセットでは、速度と精度の両面で最先端手法を上回り、計算時間は桁違いの高速化を達成。
• 初期化アルゴリズムにより、初期点が真の成分から十分に近くなることが保証され、収束保証が可能になる。