[論文レビュー] Simple Stochastic Gradient Methods for Non-Smooth Non-Convex Regularized Optimization

Michael R. Metel, Akiko Takeda|arXiv (Cornell University)|Jan 24, 2019

Sparse and Compressive Sensing Techniques参考文献 24被引用数 8

ひとこと要約

本稿では、滑らかで凸でない損失関数と滑らかでない非凸正則化項を最適化することを目的とした、2つの新しい確率的勾配法——一般の確率的最適化向けのMBSGAと有限和問題向けのVRSGA——を提案する。これらの手法は、先行研究と比較して優れた非漸近的収束複雑度を達成しており、VRSGAはO(n^{2/3}ε^{-3})回の勾配呼び出しとO(ε^{-3})回のproximal操作を達成し、理論的および実践的両面で既存の最先端手法を上回っている。

ABSTRACT

Our work focuses on stochastic gradient methods for optimizing a smooth non-convex loss function with a non-smooth non-convex regularizer. Research on this class of problem is quite limited, and until recently no non-asymptotic convergence results have been reported. We present two simple stochastic gradient algorithms, for finite-sum and general stochastic optimization problems, which have superior convergence complexities compared to the current state-of-the-art. We also compare our algorithms' performance in practice for empirical risk minimization.

研究の動機と目的

• 滑らかで非凸の損失関数と滑らかでない非凸正則化項を伴う確率的最適化における非漸近的収束結果の不足に対処すること。
• これらの困難な条件下において、実用的かつ理論的に整合性のあるアルゴリズムを、有限和および一般の確率的最適化設定で開発すること。
• 既存手法の収束複雑度、特に勾配およびproximal演算の呼び出し回数の観点から改善すること。
• 理論的複雑度のトレードオフがあるにもかかわらず、より単純なアルゴリズムが実際の性能でより優れているかどうかを示すこと。
• 複数のデータセットおよび正則化項を用いた理論的収束速度と実験的性能の包括的比較を提供すること。

提案手法

• 一般の確率的最適化向けに、不偏な確率的勾配と減少するステップサイズを用いたproximalステップをとるミニバッチ確率的勾配法（MBSGA）を提案する。
• 有限和問題向けに、SVRGフレームワークを活用し、非凸正則化項に対処するためのproximal演算子を組み込んだ分散低減型確率的勾配法（VRSGA）を導入する。
• 期待される最適でない度合いの上限と、ϵ-臨界点に到達するまでの反復回数を制約することで、非漸近的収束保証を確立する。
• 損失関数および正則化項の両方の非凸性を考慮しつつ、f(w)の勾配のリプシッツ連続性を維持する、新しい分析フレームワークを用いる。
• 理論的仮定を満たすために、初期反復における経験的サンプリングを用いてMBSGAにおける分散の上限σを推定する。
• 標準的な機械学習ベンチマーク（a9aやMNISTなど）を用いた実世界のデータセット上でアルゴリズムを実装・比較し、一貫性のあるパrameterチューニングとウォールクロック時間の追跡を実施する。

実験結果

リサーチクエスチョン

• RQ1 滑らかで非凸の損失関数と滑らかでない非凸正則化項を伴う設定において、非漸近的収束を達成できるか？
• RQ2 提案手法の収束複雑度は、現在の最先端手法と比較して、勾配およびproximal操作の呼び出しの観点でどのように異なるか？
• RQ3 より単純なアルゴリズム（MBSGA）が、より複雑な分散低減型手法（VRSGA, SSDC-SVRG）を上回る実験的性能を示すか？
• RQ4 パrameterチューニングが、実世界の機械学習タスクにおける収束速度および目的関数値の低減に与える影響は何か？
• RQ5 SCADやMCPのような非凸正則化項を用いた標準データセット（a9aやMNIST）において、理論的収束保証が実験的に検証可能か？

主な発見

• 提案されたMBSGAアルゴリズムは、一般の確率的最適化において、勾配呼び出し複雑度O(ε^{-5})およびproximal操作複雑度O(ε^{-4})を達成し、Xuら（2018）のO(ε^{-8})を改善している。
• 有限和問題向けのVRSGAアルゴリズムは、O(n^{2/3}ε^{-3})回の勾配呼び出しとO(ε^{-3})回のproximal操作を達成し、Xuら（2018）のSSDC-SVRGのO(nε^{-4})を著しく上回っている。
• a9aおよびMNISTデータセットにおける数値実験では、MBSGAは単純さにもかかわらず、単位時間あたりの目的関数値の低減において、他のすべてのアルゴリズムを上回った。
• 実験結果から、実装が最も単純なMBSGAが、実際の性能でも最も優れており、理論的複雑度が常に現実世界の効率を予測するわけではないことが示唆された。
• 収束解析は標準的な仮定のもとで有効である：f(w)の勾配はリプシッツ連続であり、g(w)のproximal演算子は効率的に計算可能である。
• 本研究は、非凸正則化項（SCAD, MCP, ログサムペナルティなど）と滑らかでない非凸損失関数（例：Lorenz損失）の組み合わせが、凸代替よりも優れたスパarsityと一般化性能をもたらすことを確認した。