[論文レビュー] Practical Inexact Proximal Quasi-Newton Method with Global Complexity Analysis

Katya Scheinberg, Xiaocheng Tang|arXiv (Cornell University)|Nov 26, 2013

Sparse and Compressive Sensing Techniques参考文献 26被引用数 17

ひとこと要約

本稿では、大規模なスパース最適化問題を解くために、確率的座標降下を用いた実用的な不正確なプロキシマル準ニュートン法を提案し、弱い部分問題の精度要件のもとで、新しいグローバル収束速度解析を実施している。期待値における部分線形収束を確立し、実世界のデータセットにおいてLIBLINEARなどの最先端手法と比較して競争力ある性能を示している。

ABSTRACT

Recently several methods were proposed for sparse optimization which make careful use of second-order information [10, 28, 16, 3] to improve local convergence rates. These methods construct a composite quadratic approximation using Hessian information, optimize this approximation using a first-order method, such as coordinate descent and employ a line search to ensure sufficient descent. Here we propose a general framework, which includes slightly modified versions of existing algorithms and also a new algorithm, which uses limited memory BFGS Hessian approximations, and provide a novel global convergence rate analysis, which covers methods that solve subproblems via coordinate descent.

研究の動機と目的

• 2階微分情報が非効率的に使用される場合に、大規模スパース最適化において不正確な部分問題解を用いたグローバル収束を達成する課題に対処すること。
• 限界的メモリBFGSヘッセ近似と、座標降下による不正確な部分問題解法を組み合わせたフレームワークを構築し、スケーラブルかつ効率的な最適化を可能にすること。
• 不正確な部分問題解を用いる手法のグローバル収束速度解析を提供し、先行研究と比較して部分問題の精度に関する仮定を緩和すること。
• スパースロジスティック回帰やLassoを含む実世界のスパース学習問題において、提案手法の実用的有効性を実証し、一部のケースで特化したソルバーを上回ること。
• 線分探索の代わりに、信頼領域に類似した十分な減少条件とプロキシマルパrameterの更新を導入し、ヘッセ行列の正確さに関する強い仮定なしにグローバル収束を保証すること。

提案手法

• 滑らかでリプシッツ連続な勾配を持つ関数 $ f $ と、$ \lambda\|x\|_1 $ のような構造的凸関数 $ g $ を含む合成凸関数 $ F(x) = f(x) + g(x) $ の最小化問題として最適化問題を定式化する。
• 現在の反復点を中心に、限界的メモリBFGSヘッセ近似を用いて滑らかな部分 $ f(x) $ を二次近似することで、完全なヘッセ行列の計算を回避する。
• 得られた部分問題 $ \min_x \{ g(x) + \frac{1}{2}\|x - z\|_H^2 \} $ を、$ H $ が対角行列と低ランク行列の和である場合に効率的な確率的座標降下を用いて近似的に解く。
• 線分探索に代わって、信頼領域に類似した十分な減少条件とプロキシマルパrameterの更新メカニズムを導入し、部分問題の正確な解が不要な状況でもグローバル収束を保証する。
• 理論的解析をより弱い仮定のもとで支援できるように、周期的降下の代わりに確率的座標降下を用いる。
• 部分問題の解が不正確であっても、必要な内側反復回数の総数をバウンディングすることで、期待値におけるグローバル収束と部分線形速度を確立する。

実験結果

リサーチクエスチョン

• RQ1 確率的座標降下による不正確な部分問題解を用いても、プロキシマル準ニュートン法の文脈で、期待値におけるグローバル収束と部分線形収束速度が保証されるか？
• RQ2 グローバル収束と保証可能な収束速度を確保するための、部分問題精度に関する最も弱い条件は何か？
• RQ3 提案フレームワークは、大規模スパース学習問題において、LIBLINEARなどの既存の最先端ソルバーと比較して実際の性能でどう異なるか？
• RQ4 プロキシマルパrameterの更新と組み合わせた信頼領域に類似した十分な減少条件は、線分探索の代わりに用いることができ、グローバル収束と効率性を維持できるか？
• RQ5 限界的メモリBFGSヘッセ近似と不正確な座標降下を組み合わせることで、実世界のスパース最適化タスクで競争力ある性能が得られるか？

主な発見

• 提案手法は、部分問題の解が不正確であっても、部分線形収束速度の期待値におけるグローバル収束を達成しており、先行する不正確なプロキシマル勾配法よりも弱い誤差許容範囲を要件としている。
• 収束に必要な内側反復回数の総数はバウンディングされており、先行研究と比較して効率性が向上している。
• a9a、slices、gisette、epsilon データセットにおいて、提案手法のLHACおよびLHAC-LはLIBLINEARを上回る収束速度とメモリ効率を示し、特にslicesデータセットでは最大10倍速い。
• 最大のデータセット（epsilon、100,000サンプル）において、LHACおよびLHAC-LはLIBLINEARと同等の精度を達成したが、時間は1/3にまで短縮された。これはスケーラビリティを示している。
• 提案手法のメモリ使用量は、LIBLINEARの半分未満であり、特にepsilonのような大規模問題において顕著である。これは効率的なヘッセ行列近似と不正確な部分問題解法によるものである。
• このフレームワークは、スパースロジスティック回帰やスパース逆コヴィariance選択のための既存の効率的アルゴリズムを一般化・統合しており、統一的な収束解析を提供している。