[論文レビュー] Optimization Methods for Sparse Pseudo-Likelihood Graphical Model Selection

Sang Min Oh, Onkar Dalal+2 more|arXiv (Cornell University)|Sep 12, 2014

Sparse and Compressive Sensing Techniques参考文献 10被引用数 19

ひとこと要約

本稿では、非ガウス型グラフィカルモデルにおけるスパース逆共分散推定のための凸擬似尤度フレームワークを用いて、CONCORD-ISTA および CONCORD-FISTA の2つの近接勾配法を提案する。これらの手法は、座標ごとの最小化法と比較して著しく高速であり、桁違いの高速化を達成している。同時に、既知の収束レートを保証しており、ガウス分布の仮定を越えた非ガウス型部分相関グラフ推定において、最も高速かつスケーラブルなソリューションを提供する。

ABSTRACT

Sparse high dimensional graphical model selection is a popular topic in contemporary machine learning. To this end, various useful approaches have been proposed in the context of $\ell_1$-penalized estimation in the Gaussian framework. Though many of these inverse covariance estimation approaches are demonstrably scalable and have leveraged recent advances in convex optimization, they still depend on the Gaussian functional form. To address this gap, a convex pseudo-likelihood based partial correlation graph estimation method (CONCORD) has been recently proposed. This method uses coordinate-wise minimization of a regression based pseudo-likelihood, and has been shown to have robust model selection properties in comparison with the Gaussian approach. In direct contrast to the parallel work in the Gaussian setting however, this new convex pseudo-likelihood framework has not leveraged the extensive array of methods that have been proposed in the machine learning literature for convex optimization. In this paper, we address this crucial gap by proposing two proximal gradient methods (CONCORD-ISTA and CONCORD-FISTA) for performing $\ell_1$-regularized inverse covariance matrix estimation in the pseudo-likelihood framework. We present timing comparisons with coordinate-wise minimization and demonstrate that our approach yields tremendous payoffs for $\ell_1$-penalized partial correlation graph estimation outside the Gaussian setting, thus yielding the fastest and most scalable approach for such problems. We undertake a theoretical analysis of our approach and rigorously demonstrate convergence, and also derive rates thereof.

研究の動機と目的

• 非ガウス型擬似尤度フレームワークにおけるスパースグラフィカルモデル選択のための高度な最適化手法の不足を解消すること。
• 従来ガウス型設定で用いられてきた現代の近接勾配技術を、非ガウス型部分相関推定に耐性を持つ CONCORD 凸擬似尤度アプローチに拡張すること。
• 非ガウス型設定における提案された近接勾配法の理論的収束レートを確立すること。
• 合成データおよび実世界のデータセットにおいて、既存の座標ごとの最小化法と比較して顕著な計算上の高速化を示すこと。
• 凸最適化を用いた非ガウス型グラフィカルモデル選択について、包括的かつ自己完結的な取り扱いを提供すること。

提案手法

• 部分相関に基づく凸擬似尤度定式化である CONCORD 目的関数を最小化するための近接勾配法として、CONCORD-ISTA および CONCORD-FISTA を提案する。
• ℓ₁ノルムの部分微分に基づくソフトしきい値処理演算子を用いた反復的更新を行い、ステップサイズ選択にはバックトラック線探索を採用する。
• CONCORD 問題の双対定式化を用いて、代替的な最適化戦略と収束解析を可能にする。
• CONCORD-ISTA および CONCORD-FISTA の両者に対して収束レートを導出。それぞれ O(1/k) および O(1/k²) の収束率を理論的に保証し、グローバル収束を証明する。
• 擬似尤度の構造と座標ごとの更新ルールを活用して、高次元データへの適用を実施。比較のためのベースラインとして座標ごとの最小化法を用いる。
• 合成データおよび実世界のデータセット（例：乳がん遺伝子発現データ）を用いて性能を検証。p=4433 個の遺伝子と n≪p の設定を想定。

実験結果

リサーチクエスチョン

• RQ1 非ガウス型 CONCORD 擬似尤度フレームワークに、近接勾配法を効果的に適応できるか？
• RQ2 非ガウス型設定において、CONCORD-ISTA および CONCORD-FISTA の理論的収束レートはどのように確立できるか？
• RQ3 提案された近接勾配法は、CONCORD で標準的に用いられる座標ごとの最小化法と比較して、計算効率に優れているか？
• RQ4 新しい手法は、非ガウス型、高次元型、外れ値に敏感な実世界データにおいても、モデル選択の精度を維持できるか？
• RQ5 CONCORD 問題の双対定式化を活用することで、最適化性能と理論的解析が向上するか？

主な発見

• CONCORD-ISTA と CONCORD-FISTA は、それぞれ O(1/k) および O(1/k²) の収束レートを達成し、非ガウス型擬似尤度最適化における理論的保証を確立した。
• p=5000 の合成データにおいて、CONCORD-ISTA は座標ごとの最小化法と比較して実行時間を最大10倍短縮した。次元が高くなるほど、高速化はさらに顕著になった。
• 乳がんデータセット（p=4433）において、ccista_1（CONCORD-ISTA の変種）はテストした9つのλ値のうち8つで標準的な CONCORD を上回る速度を示した。
• λ=0.800（0.002 NZ%）の設定では、CONCORD-ISTA は実行時間を座標ごとの最小化法の193.6秒から92.2秒に短縮し、52%の高速化を達成した。
• 高次元設定（p=5000）において、CONCORD-ISTA は座標ごとの最小化法と比較して10倍以上の高速化を達成し、桁違いの性能向上を示した。
• 非ガウス型、高次元型、n≪p のデータにおいて、提案手法はロバスト性とモデル選択の正確性を維持しており、実際の生物学的データセットを用いた検証で裏付けられた。