[論文レビュー] Scalable Computation of Regularized Precision Matrices via Stochastic Optimization

Yves F. Atchadé, Rahul Mazumder+1 more|arXiv (Cornell University)|Sep 1, 2015

Sparse and Compressive Sensing Techniques被引用数 5

ひとこと要約

本稿では、行列の逆行列計算が高価であるため、多変量正規分布からのランダムサンプルを用いて、計算コストの高い行列の逆行列を回避することで、エラスティック・ネット正則化下での正則化された精度行列のスケーラブルな計算を実現する確率的プロキシマル最適化フレームワークを提案する。この手法は、大規模で非スパースな問題に対しても計算効率が高く、収束保証を有する。決定的アプローチに比べて著しく高速でありながら、解の精度を維持する。

ABSTRACT

We consider the problem of computing a positive definite $p imes p$ inverse covariance matrix aka precision matrix $θ=(θ_{ij})$ which optimizes a regularized Gaussian maximum likelihood problem, with the elastic-net regularizer $\sum_{i,j=1}^{p} λ(α|θ_{ij}| + \frac{1}{2}(1- α) θ_{ij}^2),$ with regularization parameters $α\in [0,1]$ and $λ>0$. The associated convex semidefinite optimization problem is notoriously difficult to scale to large problems and has demanded significant attention over the past several years. We propose a new algorithmic framework based on stochastic proximal optimization (on the primal problem) that can be used to obtain near optimal solutions with substantial computational savings over deterministic algorithms. A key challenge of our work stems from the fact that the optimization problem being investigated does not satisfy the usual assumptions required by stochastic gradient methods. Our proposal has (a) computational guarantees and (b) scales well to large problems, even if the solution is not too sparse; thereby, enhancing the scope of regularized maximum likelihood problems to many large-scale problems of contemporary interest. An important aspect of our proposal is to bypass the \emph{deterministic} computation of a matrix inverse by drawing random samples from a suitable multivariate Gaussian distribution.

研究の動機と目的

• 決定的手法を用いた大規模な正則化された精度行列推定問題の計算ボトルネックを解消すること。
• 高次元で非スパースな精度行列に対しても、精度と収束性を維持するスケーラブルなアルゴリズムを開発すること。
• 確率的最適化において、行列の逆行列演算を回避するために多変量正規分布からのサンプリングを用いること。
• 標準的な仮定が成り立たない設定において、確率的プロキシマル手法の理論的計算保証を提供すること。
• 現代の統計学および機械学習における大規模問題への正則化最大尤度推定の適用範囲を拡張すること。

提案手法

• 正則化された対数尤度目的関数を最適化するために、原問題における確率的プロキシマル勾配降下法を用いる。
• 決定的行列の逆行列を、多変量正規分布からのランダムサンプルを用いて逆共分散項を推定することで置き換える。
• N(0, θ⁻¹) からの独立同分布のサンプルを用いてヘッシアンと勾配の確率的近似を実施し、スケーラブルな更新を可能にする。
• 非 i.i.d. サンプリングおよび確率的最適化における非標準的仮定を考慮する、新しい収束解析フレームワークを導入する。
• 2段階の更新スキームを適用する：確率的勾配ステップの後に、エラスティック・ネット正則化を強制するためのプロキシマルスムージングを実行する。
• 徐々に小さくなるステップサイズを用い、弱い正則性条件のもとで反復点が最適解にほとんど確実に収束することを保証する。

実験結果

リサーチクエスチョン

• RQ1 標準的な収束仮定が成り立たない状況において、確率的最適化が正則化された精度行列推定に効果的に適用可能かどうか。
• RQ2 解の精度を損なわずに、大規模な精度行列計算において行列の逆行列をどのように回避できるか。
• RQ3 この非標準的設定において、確率的プロキシマル手法にどのような計算的および理論的保証を確立できるか。
• RQ4 提案手法が、密度の高い精度行列を有する高次元問題にどの程度スケーラブルに適用できるか。
• RQ5 速度と解の品質の観点から、確率的アルゴリズムは決定的ソルバーに比べてどの程度優れているか。

主な発見

• 提案された確率的アルゴリズムは、決定的手法に比べて顕著な計算コストの削減を達成しつつ、ほぼ最適な解に収束する。
• 標準的な仮定が満たされない場合でも、理論的収束保証を提供する。
• 行列の逆行列を多変量正規分布からのランダムサンプルに置き換えることで、計算コストの高い演算を回避し、スケーラビリティを実現する。
• 真の精度行列がスパースでない場合でも、アルゴリズムは大規模な問題に効果的にスケーリングでき、正則化推定の適用範囲を拡大する。
• 実験的結果から、確率的アプローチは決定的ソルバーに比べて収束が速く、大規模データセットにおいても解の精度を維持することが示された。
• 本手法は、n や p が共に大きな高次元設定に対してもロバストであるため、現代のデータサイエンス応用に適している。