[論文レビュー] Nonconvex proximal splitting: batch and incremental algorithms

Suvrit Sra|arXiv (Cornell University)|Sep 1, 2011

Sparse and Compressive Sensing Techniques参考文献 30被引用数 7

ひとこと要約

本稿は、大規模で、滑らかでなく、非凸な合成最適化問題を解くための、非凸不正確プロキシマススプリッティング（NIPS）フレームワークを導入する。計算誤差が消えないことやステップサイズが減少しないことを許容することで、スケーラブルなバッチおよびインクリメンタルアルゴリズムを可能にし、インクリメンタル非凸プロキシマススプリッティングの最初の解析を提供する。大規模な行列因子分解において実証的検証を行い、最先端の手法と同等の性能を示した。

ABSTRACT

Within the unmanageably large class of nonconvex optimization, we consider the rich subclass of nonsmooth problems that have composite objectives---this already includes the extensively studied convex, composite objective problems as a special case. For this subclass, we introduce a powerful, new framework that permits asymptotically non-vanishing perturbations. In particular, we develop perturbation-based batch and incremental (online like) nonconvex proximal splitting algorithms. To our knowledge, this is the first time that such perturbation-based nonconvex splitting algorithms are being proposed and analyzed. While the main contribution of the paper is the theoretical framework, we complement our results by presenting some empirical results on matrix factorization.

研究の動機と目的

• 大規模で、滑らかでなく、非凸な合成目的関数をもつ最適化問題に対処すること。
• 消失誤差や減少するステップサイズの制限的仮定を回避する、非消失計算誤差と非減少ステップサイズを許容する新しいアルゴリズムフレームワークの開発。
• インクリメンタル非凸プロキシマススプリッティングアルゴリズムの最初の解析を提供すること。
• 大規模な行列因子分解問題におけるフレームワークのスケーラビリティと有効性を示すこと。
• 単調な降下や部分勾配に基づくアプローチに依存する既存手法の限界を克服すること。

提案手法

• 問題を滑らかでない（おそらく非凸な）関数 f と凸で（おそらく滑らかでない）正則化項 g を含む合成目的関数の無制約最小化問題に再定式化する。
• 滑らかでない正則化項を取り扱うために、勾配ステップとプロキシマスステップを分離するプロキシマススプリッティングを採用する。
• 計算誤差を非消失として明示的にモデル化することで、現実のスケーラビリティに重要であり、消失誤差やステップサイズの仮定を回避する。
• バッチ版およびインクリメンタル版の両方のアルゴリズムを導出する。インクリメンタル版はオンラインおよび大規模な設定に適している。
• 補助変数を用いた問題の再定式化により、大規模な滑らかでない行列因子分解にフレームワークを適用し、部分問題を閉形式解または効率的な更新で解く。
• Solodov (1997) の研究に基づき、より緩い仮定のもとで収束性を確立し、非微分可能で、合成的かつ非凸な問題へと拡張する。

実験結果

リサーチクエスチョン

• RQ1 非消失計算誤差と非減少ステップサイズを許容する非凸プロキシマススプリッティングフレームワークを開発することは可能か？
• RQ2 目的関数の単調な降下を必要としない、インクリメンタルでスケーラブルなアルゴリズムを非凸合成問題に設計することは可能か？
• RQ3 収束速度と解の品質の観点で、提案された NIPS フレームワークは SGGD や SPAMS といった既存手法とどのように比較されるか？
• RQ4 スパース性を促進する正則化項を伴う大規模な行列因子分解に、このフレームワークを効果的に適用できるか？
• RQ5 非凸的で、滑らかでなく、非消失誤差が存在する設定における理論的収束保証は何か？

主な発見

• NIPS フレームワークは、インクリメンタル非凸プロキシマススプリッティングアルゴリズムの理論的解析を初めて提供し、大規模問題に対するスケーラブルな解決策を可能にする。
• 実験的結果から、Matlab 実装の NIPS は、密行列において高度に最適化された C++ の SPAMS ツールボックスと同等の性能を示しており、C++ への移植によりさらなる高速化が期待できる。
• スパース行列因子分解タスクでは、SGGD が広範なステップサイズチューニングを必要とするのに対し、NIPS はより低い目的関数値と顕著にスパースな解を達成した。
• ハイパーパramータのチューニングが少ない状態でも、NIPS は解の品質とスパarsity の両面で SGGD を上回り、ロバストネスと実用的利点を示した。
• NIPS 法は、バッチおよびインクリメンタル版の凸および非凸の前向き・後向きスプリッティング、勾配投影法、プロキシマスポイント法など、広範な問題に適用可能である。
• 非消失誤差を扱えるというフレームワークの能力は、計算ノイズが本質的かつ制御不能な複雑なシステムにおいてより現実的である。