[論文レビュー] Universal Stagewise Learning for Non-Convex Problems with Convergence on Averaged Solutions

Zaiyi Chen, Zhuoning Yuan+4 more|arXiv (Cornell University)|Aug 19, 2018

Stochastic Gradient Optimization Techniques被引用数 31

ひとこと要約

本稿は、段階的定数ステップサイズと段階ごとに選択確率を増加させる平均化解を用いる、弱凸でない非凸問題における普遍的な段階的最適化フレームワークを提案する。この設定に対して、初めて理論的収束保証を確立し、特にスパース勾配設定において段階的AdaGradがSgdよりも適応的に収束することを示した。

ABSTRACT

Although stochastic gradient descent (SGD) method and its variants (e.g., stochastic momentum methods, AdaGrad) are the choice of algorithms for solving non-convex problems (especially deep learning), there still remain big gaps between the theory and the practice with many questions unresolved. For example, there is still a lack of theories of convergence for SGD and its variants that use stagewise step size and return an averaged solution in practice. In addition, theoretical insights of why adaptive step size of AdaGrad could improve non-adaptive step size of {\\sgd} is still missing for non-convex optimization. This paper aims to address these questions and fill the gap between theory and practice. We propose a universal stagewise optimization framework for a broad family of {\\bf non-smooth non-convex} (namely weakly convex) problems with the following key features: (i) at each stage any suitable stochastic convex optimization algorithms (e.g., SGD or AdaGrad) that return an averaged solution can be employed for minimizing a regularized convex problem; (ii) the step size is decreased in a stagewise manner; (iii) an averaged solution is returned as the final solution that is selected from all stagewise averaged solutions with sampling probabilities {\\it increasing} as the stage number. Our theoretical results of stagewise AdaGrad exhibit its adaptive convergence, therefore shed insights on its faster convergence for problems with sparse stochastic gradients than stagewise SGD. To the best of our knowledge, these new results are the first of their kind for addressing the unresolved issues of existing theories mentioned earlier. Besides theoretical contributions, our empirical studies show that our stagewise SGD and ADAGRAD improve the generalization performance of existing variants/implementations of SGD and ADAGRAD.

研究の動機と目的

• 実際の応用で用いられる確率的最適化アルゴリズムの収束解析における理論的ギャップを埋める。特に、段階的ステップサイズと平均化解を用いるアルゴリズムを対象とする。
• 深層学習における一般的なヒューリスティクス（ステップサイズの減少、解の平均化）を正当化する統一的理論枠組みを提供する。
• 非凸最適化において、特にスパース勾配を持つ状況で、AdaGradの適応的ステップサイズが非適応的Sgdを上回る理由を理論的に説明する。
• 実用的なアルゴリズム的ヒューリスティクス（ステップサイズの減少、解の平均化）に従う、広範な非滑らかで非凸（弱凸）問題に対して収束を確立する。

提案手法

• 各段階で定数ステップサイズを用い、正則化付き凸最適化問題を最小化するための確率的凸最適化アルゴリズム（例：Sgd、AdaGrad）を用いる段階的最適化プロセスを採用する。
• 各段階で平均化解を返し、最終的な解は段階番号に応じて増加する確率で全段階の平均化解からランダムに選択される。
• 段階を跨いで多項式減衰スキームに従ってステップサイズを減少させることで、理論的収束解析を可能にする。
• Fenchel共役と強凸性の性質を活用して双対ギャップをバインドし、収束速度を導出する。
• マルティングル差分列と有界勾配仮定を用いて、収束解析における確率的誤差項を制御する。
• Sgd、確率的Heavy-ball法、ネステロフ法、ADMM、AdaGradなど複数の基本アルゴリズムにこのフレームワークを適用し、統一的な収束証明を提供する。

実験結果

リサーチクエスチョン

• RQ1 段階的定数ステップサイズと平均化解を用いる確率的最適化アルゴリズムに対して、理論的収束保証を確立できるか？
• RQ2 なぜスパース勾配を持つ非凸設定においてAdaGradはSgdよりも速く収束するのか？その理論的裏付けは可能か？
• RQ3 段階的ステップサイズと解の平均化の組み合わせは、非凸最適化における一般化性能の向上に寄与するか？
• RQ4 ステップサイズの減少や解の平均化といった実用的ヒューリスティクスを満たす複数の確率的アルゴリズムを統一的に分析できるフレームワークを開発できるか？

主な発見

• 提案された段階的AdaGradフレームワークは、スパースな確率的勾配を持つ問題において、段階的Sgdよりも速い収束速度を達成する適応的収束を実現した。
• 理論的解析により、段階的フレームワークにおける平均化解の収束が保証され、最終解は段階を経るごとに選択確率が増加する。
• 多項式ステップサイズ減少スキームの下で、段階的SgdおよびAdaGradに平均化解を適用した場合の収束保証を、本稿が初めて確立した。
• 解析により、期待される最適でないギャップが $ \frac{1}{M\eta}\|\mathbf{x}_0 - \mathbf{x}_*\|^2 + \frac{\eta}{M} $ で有界であることが示された。ここで $ M $ は段階数を制御する。
• 標準理論が後段の反復を好むのに対し、本稿のサンプリングスキームでは改善された収束が得られることを示唆し、解の平均化という実用的ヒューリスティクスを正当化した。
• 実験結果により、深層学習ベンチマークにおいて、段階的SgdおよびAdaGradが標準的なバージョンよりも一般化性能が向上することが確認された。