[論文レビュー] Katalyst: Boosting Convex Katayusha for Non-Convex Problems with a Large Condition Number

Zaiyi Chen, Yi Xu+2 more|arXiv (Cornell University)|Sep 18, 2018

Sparse and Compressive Sensing Techniques参考文献 23被引用数 4

ひとこと要約

この論文は、大きな条件数を有する非凸有限和問題における収束複雑度を改善する、新しいSVRG型の加速確率的アルゴリズムKatalystを導入する。適応的モーメンタムと分散低減を用いてKatyusha法を強化することで、弱凸性パラメータμに依存する最適な勾配複雑度を達成し、SAGA型手法の最良の既知の性能を達成するとともに、低いメモリ使用量を維持する。

ABSTRACT

In this paper, we propose a new SVRG-style acceleated stochastic algorithm for solving a family of non-convex optimization problems whose objective consists of a sum of $n$ smooth functions and a non-smooth convex function. Our major goal is to improve the convergence of SVRG-style stochastic algorithms to stationary points under a setting with a large condition number $c$ - the ratio between the smoothness constant and the negative curvature constant. The proposed algorithm achieves the best known gradient complexity when $c\geq Ω(n)$, which was achieved previously by a SAGA-style accelerated stochastic algorithm. Compared with the SAGA-style accelerated stochastic algorithm, the proposed algorithm is more practical due to its low memory cost that is inherited from previous SVRG-style algorithms. Compared with previous studies on SVRG-style stochastic algorithms, our theory provides much stronger results in terms of (i) reduced gradient complexity under a large condition number; and (ii) that the convergence is proved for a sampled stagewise averaged solution that is selected from all stagewise averaged solutions with increasing sampling probabilities instead of for a uniformly sampled solutions across all iterations.

研究の動機と目的

• 既存のSVRG型手法が収束が悪い、大きな条件数（L/μ）を有する非凸問題における分散低減手法のギャップを埋める。
• 各成分関数がμ-弱凸かつL-スムーズである非凸有限和問題におけるSVRG型アルゴリズムの勾配複雑度を向上させる。
• SAGA型加速アルゴリズムの最良の既知の複雑度を達成するとともに、SVRGの低メモリ利点を維持する。
• 非凸性の度合い（μを介して）に適応する手法を開発し、凸性に近い問題（μが小さい）ではより速い収束を達成する。
• proxSVRGおよび4WD-Catalystよりも優れた性能を示す理論的保証と実験的検証を提供する。特にμが小さい領域で顕著である。

提案手法

• 元々凸問題を想定したKatyushaアルゴリズムを、適応的ステップサイズを用いたモーメンタムに基づく更新により非凸設定に適応化する。
• 単一のフル勾配推定値を維持し、制御変数戦略を用いた確率的勾配を利用する、新しい分散低減メカニズムを導入する。
• 非滑らかな項にための近位作用素を活用して、条件が改善された系列の部分問題に非凸問題を変換するCatalystフレームワークを適用する。
• 収束性と分散低減のバランスを取るために、慎重に選ばれた内部ループ長を用いたリスタートスキームを導入し、非凸な形状でも安定性を確保する。
• L/μ ≥ Ω(n) のとき、ε-停留点を求める勾配複雑度の上限を Õ(√(nLμ)/ε²) として導出する。これは、従来のSVRG型手法を改善する。
• 非滑らかで凸な正則化子 ψ(x) を効率的に処理するため、近位作用素を加速フレームワークに統合する。

実験結果

リサーチクエスチョン

• RQ1 大きな条件数（L/μ）を有する非凸問題におけるSVRG型手法の勾配複雑度を改善できるか？
• RQ2 弱凸性（μ）を複雑度の上限に組み込むことで、凸性に近い問題でより速い収束が達成できるか？
• RQ3 Katyushaに基づくブースティングフレームワークが、SAGA型加速手法と同等の複雑度を達成しつつ、低メモリ使用を維持できるか？
• RQ4 μが小さい場合に、提案手法はproxSVRGおよび4WD-Catalystと比較して実際の性能で優れているか？
• RQ5 理論的複雑度上限はタイトで、実世界の非凸機械学習問題において実用的効果を示すか？

主な発見

• L/μ ≥ Ω(n) のとき、Katalystはε-停留点を求める勾配複雑度 Õ(√(nLμ)/ε²) を達成し、すべてのSVRG型手法の中で最高の既知の性能である。
• 最近のSAGA型加速アルゴリズムRapGradと同等の複雑度を達成しているが、SVRGの単一勾配保存の利点により、はるかに低いメモリコストを実現している。
• μが小さい（つまり凸性に近い）問題では、数値実験によりproxSVRGおよび4WD-Catalystよりも顕著な高速化が確認された。
• rcv1およびreal-simデータセットにおける実験結果では、λが小さい（μが小さい）場合にKatalystがproxSVRGおよび4WD-Catalystよりも速やかに収束することが示された。
• 条件数が大きい場合でも安定性と効率性を維持しており、高コントラストな非凸設定でも頑健であることが示された。
• 理論的分析により、複雑度上限がタイトで、μに適応的であることが確認され、非凸性の度合いが収束速度に直接影響することが示された。