[論文レビュー] G-AMA: Sparse Gaussian graphical model estimation via alternating minimization

Onkar Dalal, Bala Rajaratnam|arXiv (Cornell University)|May 13, 2014

Gaussian Processes and Bayesian Inference参考文献 26被引用数 9

ひとこと要約

G-AMA は、双対問題における交互最小化を用いることで、グローバル線形収束性と極めて高速な性能を達成するスパースなガウス graphical モデル推定のための新規なアルゴリズムであり、最新の手法と比較して最大で桁違いの高速化を実現する。また、悪条件な高次元データを効果的に処理し、共分散および逆共分散要素に対する分野特有の制約を組み込むことができる。

ABSTRACT

Several methods have been recently proposed for estimating sparse Gaussian graphical models using $\ell_{1}$ regularization on the inverse covariance matrix. Despite recent advances, contemporary applications require methods that are even faster in order to handle ill-conditioned high dimensional modern day datasets. In this paper, we propose a new method, G-AMA, to solve the sparse inverse covariance estimation problem using Alternating Minimization Algorithm (AMA), that effectively works as a proximal gradient algorithm on the dual problem. Our approach has several novel advantages over existing methods. First, we demonstrate that G-AMA is faster than the previous best algorithms by many orders of magnitude and is thus an ideal approach for modern high throughput applications. Second, global linear convergence of G-AMA is demonstrated rigorously, underscoring its good theoretical properties. Third, the dual algorithm operates on the covariance matrix, and thus easily facilitates incorporating additional constraints on pairwise/marginal relationships between feature pairs based on domain specific knowledge. Over and above estimating a sparse inverse covariance matrix, we also illustrate how to (1) incorporate constraints on the (bivariate) correlations and, (2) incorporate equality (equisparsity) or linear constraints between individual inverse covariance elements. Fourth, we also show that G-AMA is better adept at handling extremely ill-conditioned problems, as is often the case with real data. The methodology is demonstrated on both simulated and real datasets to illustrate its superior performance over recently proposed methods.

研究の動機と目的

• 現代の大規模データセットにおける高次元スパース逆共分散推定の計算ボトル neck を解消すること。
• 現実のデータに一般的に見られる極端な悪条件性に対しても、妥当性と収束性を維持する手法を開発すること。
• 分野特有の共分散構造に関する知識（例えば、空間的または遺伝子間相関の減衰）を推定プロセスに直接統合できるようにすること。
• 特に正則化パrameter が小さい場合に、既存の近位勾配法やブロック座標法と比較して著しく高速な収束を達成すること。
• 双対共分散行列上で動作する理論的裏付けのあるグローバル線形収束性を持つアルゴリズムを提供することにより、制約統合を容易にすること。

提案手法

• スパース逆共分散推定問題を、共分散行列 $Y$ における双対最適化問題として定式化し、$-\text{log det } Y - p$ を $\|Y - S\|_\infty \leq \lambda$ の制約のもとで最小化する。
• 双対問題を解くために、前向き後ろ向き分割を用いた交互最小化アルゴリズム（AMA）を適用し、双対問題の構造を活かして各反復で妥当性を保証する。
• 更新式 $Y_{k+1} = \Pi_{\mathcal{D}}(Y_k + \tau_k Y_k^{-1})$ において、定数ステップサイズ $\tau_k$ を使用し、$\mathcal{D}$ が $Y - S$ の無限大ノルム制約を満たすようにする。
• 二変量相関に関する分野特有の制約および逆共分散要素の線形／等スパarsity 制約を、射影演算子 $\Pi_{\mathcal{D}}$ を変更することで統合する。
• 一般線形制約を扱うために、更新式を $Y_{k+1} = \Pi_{\mathcal{D}}(Y_k + \tau_k A^*(S + B Y_k A^*)^{-1} B)$ に修正する。
• 反復行列のスペクトル解析によりグローバル線形収束性を確立し、$\|Y_{k+1} - Y_*\|_F \leq \gamma \|Y_k - Y_*\|_F$ かつ $\gamma < 1$ を証明する。

実験結果

リサーチクエスチョン

• RQ1 双対問題における交互最小化アプローチは、既存の近位勾配法と比較して、スパース逆共分散推定においてより高速な収束を達成できるか？
• RQ2 提案された G-AMA アルゴリズムは、悪条件で高次元な環境下でもグローバル線形収束性と妥当性を維持するか？
• RQ3 共分散構造に関する分野特有の知識（例えば、空間的または遺伝子相関の減衰）を推定プロセスにどの程度統合できるか？
• RQ4 G-AMA は、合成データおよび実世界のデータセットにおいて、QUIC や G-ISTA といった最先端手法と比較して、速度と精度の両面で優れているか？
• RQ5 G-AMA の双対定式化は、逆共分散要素に対する等式または線形制約を自然にサポートできるか？また、その影響は推定品質にどのように現れるか？

主な発見

• G-AMA は、他のアルゴリズムが悪条件性のため苦戦する小 $\lambda$ の場合でも、既存手法と比較して桁違いの高速な収束を達成する。
• アルゴリズムはグローバル線形収束性を示し、収束速度 $\gamma < 1$ に対する理論的境界が保証されており、信頼性と予測可能性の高い性能を実現する。
• 反復の全過程において双対推定値 $Y_k$ の妥当性が維持されるため、早期終了やリアルタイム応用において極めて重要である。
• 二項相関に関する分野特有の制約および逆共分散要素の線形／等スパarsity 制約を、最小限の修正で効果的に統合できる。
• ファイナンスおよびゲノムスデータを含む実データセットにおいて、G-AMA は QUIC や G-ISTA を上回る速度と解の品質を達成する。特に高次元でサンプル数が限られた状況で顕著な優位性を示す。
• ポートフォリオ最適化の実験では、G-AMA を用いた共分散推定が、より高い実現シャープレシオと低いトランジション数をもたらし、金融分野における実用的価値を示した。