[論文レビュー] Sparse Inverse Covariance Matrix Estimation Using Quadratic Approximation

Cho‐Jui Hsieh, Mátyás A. Sustik+2 more|arXiv (Cornell University)|Jun 13, 2013

Sparse and Compressive Sensing Techniques参考文献 24被引用数 280

ひとこと要約

本稿では、二次近似と座標降下を用いたスパース逆共分散行列推定のための、超線形収束性を示す第二階級のアルゴリズムであるQUICを提案する。問題の構造を活用し、動的自由／固定変数選択を施すことにより、特に高次元かつスパースな問題において、一次順の手法よりも高速な収束を達成する。

ABSTRACT

The L1-regularized Gaussian maximum likelihood estimator (MLE) has been shown to have strong statistical guarantees in recovering a sparse inverse covariance matrix, or alternatively the underlying graph structure of a Gaussian Markov Random Field, from very limited samples. We propose a novel algorithm for solving the resulting optimization problem which is a regularized log-determinant program. In contrast to recent state-of-the-art methods that largely use first order gradient information, our algorithm is based on Newton's method and employs a quadratic approximation, but with some modifications that leverage the structure of the sparse Gaussian MLE problem. We show that our method is superlinearly convergent, and present experimental results using synthetic and real-world application data that demonstrate the considerable improvements in performance of our method when compared to other state-of-the-art methods.

研究の動機と目的

• p ≫ n である高次元設定下でのスパース逆共分散行列推定の課題に対処すること。
• ガウスグラフィカルモデルの対数行列式決定プログラムにおいて、一次順手法の収束の遅さを克服すること。
• 計算効率を維持しつつ、超線形収束を達成する第二階級最適化手法を開発すること。
• 解の構造的スパarsityを活用して、明示的な行列分解を伴わずに収束を加速すること。
• Armijo則に基づくラインサーチとヘッセ行列近似を通じて、正定値性と十分な降下を保証すること。

提案手法

• 負の対数尤度関数の二次近似を用いて、ℓ₁正則化付きガウスMLEを対数行列式プログラムとして定式化する。
• 強い凸性を保持するヘッセ行列近似を用いたニュートン法を採用し、正定値解への収束を保証する。
• 座標降下を用いてニュートン方向を計算し、中間計算のキャッシュを活用することで、1回の更新あたりO(p)の計算量に最適化する。
• 最適性システムの停留条件に基づき、更新対象の自由変数集合と固定変数集合を動的に維持する。
• 十分な減少を保証するとともに、反復の正定値性を維持するため、Armijo則を用いたラインサーチを適用する。
• スパース化された標本共分散行列のブロック対角構造を、自由／固定集合選択を通じて暗黙的に活用し、明示的な分解を回避する。

実験結果

リサーチクエスチョン

• RQ1 高次元制約下において、第二階級手法がスパース逆共分散推定で超線形収束を達成できるか。
• RQ2 O(p³)のコストを伴わず、大規模な対数行列式問題においてヘッセ行列に基づく更新をどのように効率的に計算できるか。
• RQ3 動的変数選択（自由／固定集合）が、解の構造的スパarsityをどれほど活用して収束を加速できるか。
• RQ4 真の逆共分散行列がスパースまたはブロック対角構造を示す場合、一次順手法と比較してアルゴリズムの性能はどの程度向上するか。
• RQ5 二次近似において正定値錐を明示的に制約しなくても、収束保証と正定値性を維持できるか。

主な発見

• QUICは超線形収束を達成し、反復回数および実行時間の両面で、座標降下法やプロキシマール・グラデント法といった一次順手法を著しく上回る。
• Hereditarybcデータセットにおいて、自由集合のサイズが1回の反復で340万を超える変数から12万未塔にまで減少した。これは、急速なスパース性の活用を示している。
• λが大きい（解がスパースな）場合、内点法（IPM）やプロキシマール・グラデント法（PSM）よりもQUICが高速に収束し、特に高次元データにおいて顕著である。
• 閾値処理された共分散行列がブロック対角構造を示す場合、QUICは自動的にその構造を同定・活用し、分解を明示的に行わなくても効率性を維持する。
• ブロック対角構造を有する合成実験において、QUICは連結成分の数が減少しても効率性を維持した一方、glassoの性能は構造的特徴の活用が不十分であるために急激に劣化した。
• λ = 0.011 の場合、解は密であり分解不可能であるが、QUICはスパースな非対角要素を固定できるため、更新における有効変数数を削減し、glassoを上回った。