[論文レビュー] Catalyst Acceleration for Gradient-Based Non-Convex Optimization

Courtney Paquette, Hongzhou Lin+3 more|arXiv (Cornell University)|Mar 31, 2017

Sparse and Compressive Sensing Techniques参考文献 54被引用数 23

ひとこと要約

本稿では、凸性に関する事前知識がなくても、勾配ベースの凸最適化手法が非凸および弱凸問題を効率的に解ける汎用的なメタアルゴリズム、4WD-Catalyst を導入する。非凸問題に対しては最悪ケースで O(ε⁻²) の複雑度を達成し、目的関数が凸である場合には自動的に O(ε⁻²ᐟ³) に加速される。弱凸性定数は適応的スムージングと反復的精錬により未知のまま適応的に処理される。

ABSTRACT

We introduce a generic scheme to solve nonconvex optimization problems using gradient-based algorithms originally designed for minimizing convex functions. Even though these methods may originally require convexity to operate, the proposed approach allows one to use them on weakly convex objectives, which covers a large class of non-convex functions typically appearing in machine learning and signal processing. In general, the scheme is guaranteed to produce a stationary point with a worst-case efficiency typical of first-order methods, and when the objective turns out to be convex, it automatically accelerates in the sense of Nesterov and achieves near-optimal convergence rate in function values. These properties are achieved without assuming any knowledge about the convexity of the objective, by automatically adapting to the unknown weak convexity constant. We conclude the paper by showing promising experimental results obtained by applying our approach to incremental algorithms such as SVRG and SAGA for sparse matrix factorization and for learning neural networks.

研究の動機と目的

• 凸最適化手法を非凸および弱凸問題に適用可能にする汎用フレームワークの開発。ただし、凸性に関する事前知識は不要。
• 非凸目的関数に対し、最悪ケースで O(ε⁻²) の複雑度を維持し、標準的一階法と同等の性能を確保すること。
• 目的関数が凸である場合に、自動的に O(ε⁻²ᐟ³) の複雑度に加速され、ネステロフの最適レートと一致させること。
• 機械学習および信号処理で一般的な合成的・有限和・非滑らか正則化問題を扱えること。
• 問題構造の明示的知識が不要な状態で、未知の弱凸性定数に適応するスキームの設計。

提案手法

• 本手法は、増加するスムージングパラメータ κ の系列を用いた適応的ティホノフ型スムージングにより、元の非凸問題を凸に類似した部分問題の系列に変換する。
• 基盤となる凸最適化手法 M（例：SAGA、SVRG）を、fₖ(x; y) = f(x) + (κ/2)‖x - y‖² という正則化部分問題に適用する。ここで y は基準点である。
• アルゴリズムは、κ > ρ + L となるまで、κ を二重化戦略で動的に増加させる。ここで ρ は弱凸性定数、L は勾配のリプシッツ定数である。
• 2つの列を維持する：1つは T 回の反復による近似停留点の計算、もう1つは S log(k+1) 回の反復による適応的収束の確保。これにより降下性と停留性が保証される。
• Catalystフレームワークを活用して、スムージングされた部分問題を再帰的に最小化することで、ε-停留点への収束を達成する。
• 降下条件と部分劣微分への距離のバウンドを用いた理論的保証により、最小限の仮定のもとで収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 凸最適化手法を、凸性に関する事前知識がなくても非凸問題に再利用可能か？
• RQ2 凸性に適応し、目的関数が凸である場合に加速する一階法の最悪ケース複雑度は何か？
• RQ3 適応的スムージングを用いて、収束保証のもとで非凸問題を凸に類似した部分問題の系列に変換する方法は何か？
• RQ4 非凸ケースでは O(ε⁻²) の複雑度を維持し、凸ケースでは O(ε⁻²ᐟ³) に加速するが、凸性の明示的検出が不要な状態でこれを達成できるか？
• RQ5 SAGA や SVRG などのインクリメンタル一階法に、実用的状況（ニューラルネットワーク学習や行列因子分解など）で適用可能なスキームは何か？

主な発見

• 4WD-Catalyst メタアルゴリズムは、非凸問題における ε-停留点を求める最悪ケース反復複雑度として O(ε⁻²) を達成し、一階法の下界と一致する。
• 目的関数が凸である場合、自動的に O(ε⁻²ᐟ³) の複雑度に加速され、ネステロフの加速勾配法の最適レートと一致する。
• 弱凸性定数 ρ が未知であっても、スムージングパラメータ κ の二重化戦略により適応的に処理され、事前の知識が不要である。
• 理論的分析により、適応的部分問題最小化と部分劣微分への距離のバウンドを用いて、降下性と収束性が保証されることが確認された。
• 実験的結果により、スパース行列因子分解やニューラルネットワーク学習において、SAGA や SVRG に対して実用的な高速化が確認された。これは、目的関数が大域的に凸でない場合でも成立する。
• 合成的・有限和・非滑らか正則化問題（インジケータ関数による制約最小化も含む）を効果的に処理できる。