[論文レビュー] Momentum Schemes with Stochastic Variance Reduction for Nonconvex Composite Optimization

Yi Zhou, Zhe Wang+3 more|arXiv (Cornell University)|Feb 7, 2019

Sparse and Compressive Sensing Techniques参考文献 30被引用数 11

ひとこと要約

本稿では、非凸かつ非滑らかな複合最適化におけるSPIDERアルゴリズムのための柔軟な係数設定を有する新規の運動量スキームを提案し、その性能を向上させている。得られる手法は、一般化された一次静止条件に到達するための近似的に最適な勾配オракル複雑度を達成しており、実験結果から従来のバリアンス低減手法に比べて優れた実用的性能を示している。

ABSTRACT

Two new stochastic variance-reduced algorithms named SARAH and SPIDER have been recently proposed, and SPIDER has been shown to achieve a near-optimal gradient oracle complexity for nonconvex optimization. However, the theoretical advantage of SPIDER does not lead to substantial improvement of practical performance over SVRG. To address this issue, momentum technique can be a good candidate to improve the performance of SPIDER. However, existing momentum schemes used in variance-reduced algorithms are designed specifically for convex optimization, and are not applicable to nonconvex scenarios. In this paper, we develop novel momentum schemes with flexible coefficient settings to accelerate SPIDER for nonconvex and nonsmooth composite optimization, and show that the resulting algorithms achieve the near-optimal gradient oracle complexity for achieving a generalized first-order stationary condition. Furthermore, we generalize our algorithm to online nonconvex and nonsmooth optimization, and establish an oracle complexity result that matches the state-of-the-art. Our extensive experiments demonstrate the superior performance of our proposed algorithm over other stochastic variance-reduced algorithms.

研究の動機と目的

• 非凸設定におけるバリアンス低減アルゴリズム（例：SPIDER）の理論的利点と実用的性能のギャップを解消すること。
• 既存の運動量技術が失敗する非凸かつ非滑らかな複合最適化に適した運動量スキームを設計すること。
• 一般化された一次静止点への収束に向け、近似的に最適な勾配オラクル複雑度を達成すること。
• 提案されたアルゴリズムをオンライン非凸最適化に拡張し、最先端のオラクル複雑度に一致させること。
• 新規手法の優れた性能を実験的に検証すること。

提案手法

• 非凸かつ非滑らかな複合最適化に特化した、柔軟な係数設定を有する新規の運動量スキームを提案。
• SPIDERフレームワークに運動量を統合し、収束速度を向上させつつバリアンス低減を維持。
• 非凸問題の収束基準として、一般化された一次静止条件を用いる。
• オンライン学習の原則とバリアンス低減を組み合わせることで、アルゴリズムをオンライン設定に適応。
• 新規アルゴリズムの厳密な解析を通じて、勾配オラクル複雑度の理論的境界を確立。
• 確率的勾配と運動量項を組み合わせたハイブリッド更新ルールを採用し、収束速度を向上。

実験結果

リサーチクエスチョン

• RQ1 運動量技術は、非凸かつ非滑らかな複合最適化に効果的に適応可能であり、実用的性能の向上に寄与するか？
• RQ2 提案された運動量強化SPIDERは、非凸設定において近似的に最適な勾配オラクル複雑度を達成するか？
• RQ3 実際の応用において、新規アルゴリズムはSVRGや他のバリアンス低減手法に比べてどのように性能を発揮するか？
• RQ4 アルゴリズムは、同等の最先端の複雑度を達成するようにオンライン非凸最適化に一般化可能か？
• RQ5 運動量スキームにおけるどの係数設定が収束速度と安定性の間で最良のトレードオフを実現するか？

主な発見

• 提案された運動量強化SPIDERアルゴリズムは、非凸かつ非滑らかな複合最適化において、一般化された一次静止条件に到達するための近似的に最適な勾配オラクル複雑度を達成している。
• 広範な実験において、SVRGや他の確率的バリアンス低減アルゴリズムに比べ、本手法は優れた実験的性能を示している。
• 理論的複雑度境界は、オンライン非凸最適化の最先端水準に一致しており、その効率性が裏付けられている。
• 運動量スキームにおける柔軟な係数設定は、安定性を損なわず収束速度を顕著に向上させている。
• 最適化の複雑度が最適なまま、オンライン設定への一般化に成功している。
• 結果から、SPIDERの理論的利点が適切な運動量統合によって実用的利点に効果的に変換可能であることが示された。