[論文レビュー] A proximal Newton framework for composite minimization: Graph learning without Cholesky decompositions and matrix inversions

Quoc Tran Dinh, Anastasios Kyrillidis+1 more|arXiv (Cornell University)|Jan 8, 2013

Sparse and Compressive Sensing Techniques参考文献 18被引用数 13

ひとこと要約

本稿では、解析的ステップサイズ選択と双対定式化を活用することで、グラフ学習におけるコレスキー分解や行列逆行列を回避する、複合最小化のための新規なプロキシマルニュートンフレームワークを提案する。この手法は局所的2次収束を達成し、コストの高い行列因子分解や反復的ラインサーチに依存せずに、スパース精度行列推定のための効率的かつスケーラブルな最適化を可能にする。

ABSTRACT

We propose an algorithmic framework for convex minimization problems of a composite function with two terms: a self-concordant function and a possibly nonsmooth regularization term. Our method is a new proximal Newton algorithm that features a local quadratic convergence rate. As a specific instance of our framework, we consider the sparse inverse covariance matrix estimation in graph learning problems. Via a careful dual formulation and a novel analytic step-size selection procedure, our approach for graph learning avoids Cholesky decompositions and matrix inversions in its iteration making it attractive for parallel and distributed implementations.

研究の動機と目的

• 既存の2次最適化手法におけるコレスキー分解や行列逆行列に起因するスパース精度行列推定のスケーラビリティのボトルネックを解消すること。
• 自己共形項と非滑らか正則化項を含む複合最小化のための、局所的2次収束を示すプロキシマルニュートンアルゴリズムを開発すること。
• バックトラッキングラインサーチやトラスト領域グローバライゼーション戦略の必要性を排除するため、解析的かつ最適なステップサイズ選択手順を導出すること。
• 各反復における高価な行列演算を回避することで、効率的で分散型および並列実装可能な最適化を可能にすること。
• 明示的な行列逆行列を回避する双対定式化を用いたグラフ学習におけるフレームワークの有効性を示すこと。

提案手法

• ラインサーチを必要とせず、目的関数の十分な減少を保証する解析的ステップサイズ選択を用いた、減衰付きプロキシマルニュートンスキームを採用する。
• 対数尤度における行列式対数の自己共形性を活用し、反復列が正定値コーンに留まるように閉形式のステップサイズを導出する。
• ニュートン部分問題の双対定式化を採用し、明示的な行列逆行列を避けてヘッシアン・ベクトル積による勾配計算を可能にする。
• ヘッシアン・ベクトル積を、明示的な逆行列やコレスキー分解を避けて、行列乗算のみで効率的に計算する。
• 反復が2次収束領域に入った段階で、明示的に計算可能な全プロキシマルニュートンステップに移行する。
• フレームワークは、グラフ選択のためのDPNGS（Damped Proximal Newton for Graph Selection）として具体化され、コレスキー分解と行列逆行列の両方を回避する。

実験結果

リサーチクエスチョン

• RQ1 バックトラッキングラインサーチやトラスト領域戦略に依存しない、複合最小化のためのプロキシマルニュートン法を設計することは可能か？
• RQ2 スパース精度行列推定において、コレスキー分解と行列逆行列を回避しながらも、高速な収束を維持することは可能か？
• RQ3 追加の仮定なしに、グローバル収束を保証し、最適な進行を達成する解析的ステップサイズ選択手順を導出することは可能か？
• RQ4 ニュートン部分問題の双対定式化は、グラフ学習における行列逆行列フリー最適化をどのように可能にするか？
• RQ5 提案されたフレームワークは、QUICなどの最先端ソルバーと同等の性能を達成しつつ、計算コストを削減できるか？

主な発見

• DPNGS(10)は、特に正則化パラメータρが小さい場合に、QUICが要する時間のわずかの一部で近似的に最適な解に到達する。
• アルゴリズムはコレスキー分解と行列逆行列を完全に回避し、1反復あたりの計算量を行列乗算のみにまで削減する。
• 白血病データセット（p=1255）では、DPNGS(10)は65反復、82.5秒を要したが、QUICは18反復、69.8秒を要したが、1反復あたりの計算コストは著しく低減された。
• DPNGS(5)とDPNGS(10)は、QUICの初期反復におけるコレスキー分解回数を削減する高品質な初期化を提供する。
• 解析的ステップサイズ選択により、目的関数の保証された減少が得られ、ラインサーチやトラスト領域法の必要性が排除される。
• 全テストデータセット（アラビドプシス、白血病、遺伝的）において、DPNGS(10)はDPNGS(5)を常に上回り、計算オーバーヘッドを削減しながら、解の品質でQUICと同等またはそれを上回った。