[論文レビュー] Alternating Direction Methods for Latent Variable Gaussian Graphical Model Selection

Shiqian Ma, Lingzhou Xue+1 more|arXiv (Cornell University)|Jun 6, 2012

Sparse and Compressive Sensing Techniques参考文献 46被引用数 6

ひとこと要約

本稿では、高次元データからスパースかつ低ランクの逆共分散行列を推定する潜在変数付きガウス graphical モデル選択を解くために、古典的 ADMM およびプロキシマル勾配に基づく ADMM の2つの交替方向法を提案する。これらの手法はグローバル収束を達成し、最新のニュートン-CG プロキシマルポイント法と比較して最大35倍高速であり、100万変数の問題を2分未満で解ける。

ABSTRACT

Chandrasekaran, Parrilo and Willsky (2010) proposed a convex optimization problem to characterize graphical model selection in the presence of unobserved variables. This convex optimization problem aims to estimate an inverse covariance matrix that can be decomposed into a sparse matrix minus a low-rank matrix from sample data. Solving this convex optimization problem is very challenging, especially for large problems. In this paper, we propose two alternating direction methods for solving this problem. The first method is to apply the classical alternating direction method of multipliers to solve the problem as a consensus problem. The second method is a proximal gradient based alternating direction method of multipliers. Our methods exploit and take advantage of the special structure of the problem and thus can solve large problems very efficiently. Global convergence result is established for the proposed methods. Numerical results on both synthetic data and gene expression data show that our methods usually solve problems with one million variables in one to two minutes, and are usually five to thirty five times faster than a state-of-the-art Newton-CG proximal point algorithm.

研究の動機と目的

• 観測データに影響を与える観測できない（潜在的）変数が存在する高次元 graphical モデル選択の課題に対処すること。
• 標本データからスパース＋低ランクの逆共分散行列を推定する凸最適化問題を解くための効率的でスケーラブルな最適化アルゴリズムを開発すること。
• 提案された交替方向法のグローバル収束保証を確立すること。
• ニュートン-CG プロキシマルポイント法などの既存の最先端アルゴリズムと比較して、計算速度とスケーラビリティの面で優れるようにすること。
• 合成データおよび実際の遺伝子発現データセットの両方において、手法の有効性を示すこと。

提案手法

• 潜在変数付き graphical モデル選択を次の凸最適化問題として定式化する：⟨S, Σ̂⟩ − log det S + ρ‖S‖₁ を S = A − L という制約のもとで最小化する。ここで A はスパースで、L は低ランクである。
• 変数 A と L に分割することで、問題を共通化問題として扱い、古典的交替方向乗数法（ADMM）を適用する。
• ℓ₁ 正則化を更新ステップに直接組み込むことでスパarsity を維持する、プロキシマル勾配に基づく ADMM（PGADM）を考案する。
• ℓ₁ 正則化のプロキシマル作用素を用いて、解行列 S におけるスパarsity を強制し、多くの要素が正確にゼロになるようにする。
• A、L、および双対変数の間で交互に更新を行い、部分問題に対して正確または閉形式の解を得る。
• 標準的な仮定の下で、両手法のグローバル収束を確立する。これは問題の構造と凸最適化理論を活用することで達成される。

実験結果

リサーチクエスチョン

• RQ1 高次元データを対象とした潜在変数付きガウス graphical モデル選択問題に対して、交替方向法が効果的に適応可能であるか。
• RQ2 提案された ADMM および PGADM 手法は、ニュートン-CG プロキシマルポイント法などの既存の最先端アルゴリズムと比較して、計算効率および収束速度においてどのように差をつけるか。
• RQ3 提案手法は解行列におけるスパarsity をどの程度維持できるか。また、そのスパarsity は推定された graphical モデルの品質および解釈可能性にどのように影響を与えるか。
• RQ4 100万変数に達する大規模問題に対しても、グローバル収束と解の正確性を維持しながらスケーリング可能か。
• RQ5 遺伝子発現データセット（数千変数）を含む実世界の生物学的データにおいて、手法はどのように性能を発揮するか。

主な発見

• 提案された PGADM 手法は、100万変数の問題を1〜2分で解き、最新のニュートン-CG プロキシマルポイント法を著しく上回る。
• 合成データでは、PGADM は LogdetPPA よりも5〜35倍高速であり、p=1000 の場合で最大35.4倍の高速化を達成した。
• ロゼッタ遺伝子発現データセット（p=2000）では、PGADM は LogdetPPA に対して10.9倍の高速化を達成し、実行時間を1時間16分から7分に短縮した。
• アイコンキシデータセット（p=2000）では、PGADM は17.9倍の高速化を達成し、実行時間を3時間40分から12分に短縮した。
• PGADM は ℓ₁ シリングによる正則化のおかげで、常に多くの要素が正確にゼロとなるスパース解を生成するが、LogdetPPA は密行列を生成し、スパース性を達成するためには切り捨て処理が必要となる。
• PGADM の目的関数値は、LogdetPPA と同等またはそれ以上であり、優れた解の品質に加え、高速性も同時に達成していることが示された。