[論文レビュー] Non-asymptotic Analysis of Stochastic Methods for Non-Smooth Non-Convex Regularized Problems

Yi Xu, Rong Jin+1 more|arXiv (Cornell University)|Feb 20, 2019

Sparse and Compressive Sensing Techniques被引用数 7

ひとこと要約

本稿は、損失関数と正則化項の両方が非凸的かつ非滑らかである非滑らか非凸正則化問題に対する、初めての非漸近的収束解析を提示する。ミニバッチSPG（Stochastic Proximal Gradient）の変種が、近似停留点を求める際、凸型の対応する手法と同等の反復複雑度を達成することを確立し、目標精度の事前知識が不要な動的ミニバッチサイズ戦略を導入する。

ABSTRACT

Stochastic Proximal Gradient (SPG) methods have been widely used for solving optimization problems with a simple (possibly non-smooth) regularizer in machine learning and statistics. However, to the best of our knowledge no non-asymptotic convergence analysis of SPG exists for non-convex optimization with a non-smooth and non-convex regularizer. All existing non-asymptotic analysis of SPG for solving non-smooth non-convex problems require the non-smooth regularizer to be a convex function, and hence are not applicable to a non-smooth non-convex regularized problem. This work initiates the analysis to bridge this gap and opens the door to non-asymptotic convergence analysis of non-smooth non-convex regularized problems. We analyze several variants of mini-batch SPG methods for minimizing a non-convex objective that consists of a smooth non-convex loss and a non-smooth non-convex regularizer. Our contributions are two-fold: (i) we show that they enjoy the same complexities as their counterparts for solving convex regularized non-convex problems in terms of finding an approximate stationary point; (ii) we develop more practical variants using dynamic mini-batch size instead of a fixed mini-batch size without requiring the target accuracy level of solution. The significance of our results is that they improve upon the-state-of-art results for solving non-smooth non-convex regularized problems. We also empirically demonstrate the effectiveness of the considered SPG methods in comparison with other peer stochastic methods.

研究の動機と目的

• 非滑らか非凸正則化最適化における確率的近位勾配（SPG）法の非漸近的収束解析が不足しているという問題に取り組む。
• 既存の解析が凸正則化項を仮定している理論的ギャップを埋める。これは非凸非滑らか設定には適用できない。
• 固定バッチサイズではなく動的ミニバッチサイズを用いる実用的なSPGの変種を開発し、目標精度の事前知識を排除する。
• 非凸非滑らか問題において、凸正則化型の対応する手法と同等の収束複雑度バウンズを確立する。
• 提案されたSPG手法の有効性を、他の確率的最適化手法と比較して実験的に検証する。

提案手法

• 滑らかで非凸の損失関数と非滑らかで非凸の正則化項の和を最小化するミニバッチ確率的近位勾配（SPG）法を分析する。
• 非漸近的解析を用いて、近似停留点を求める反復複雑度バウンズを導出する。
• 目標精度を事前に知らなくても最適化中に適応する動的ミニバッチサイズ戦略を導入する。
• 部分微分可能理論と期待値の滑らかさ仮定を含む、非凸非滑らか解析のツールを適用する。
• 有限和形式と期待値に基づく最適化問題の両方を検討する。
• 確率的近似と近位アルゴリズムの理論的枠組みを用いて、先行研究よりも弱い仮定のもとで収束を確立する。

実験結果

リサーチクエスチョン

• RQ1 損失関数と正則化項の両方が非凸的かつ非滑らかである場合に、SPG法に対して非漸近的収束保証を確立できるか？
• RQ2 非滑らか非凸問題におけるSPG法は、凸正則化問題におけるそれらと同等の反復複雑度を達成できるか？
• RQ3 目標精度の事前知識がなくても、非滑らか非凸SPGに適した動的ミニバッチサイズ戦略を設計できるか？
• RQ4 提案されたSPGの変種は、非滑らか非凸設定における既存の確率的手法と比較して、実験的にどのように性能を発揮するか？
• RQ5 この一般非凸非滑らか設定において、近似停留点への収束を保証する理論的条件は何か？

主な発見

• 提案されたミニバッチSPG法は、近似停留点を求める際、凸正則化型の対応する手法と同等の非漸近的反復複雑度を達成する。
• 標準的な仮定のもとで、ε-近似停留点への収束がO(1/ε³)反復で達成され、凸正則化問題における既知のバウンズと一致する。
• 目標精度の知識が不要な動的ミニバッチSPGの変種が開発され、実用性が向上する。
• 理論的枠組みは、非滑らか非凸正則化問題の有限和形式および期待値に基づく形式の両方に適用可能である。
• 実験結果から、提案されたSPG手法が非滑らか非凸最適化タスクにおいて、他の確率的手法を上回ることを示している。
• 本研究は、非滑らか非凸正則化設定におけるSPG法の最初の非漸近的収束解析を提供し、重要な理論的ギャップを埋めている。