[論文レビュー] A Variance Reduction Method for Non-Convex Optimization with Improved Convergence under Large Condition Number

Zaiyi Chen, Tianbao Yang|arXiv (Cornell University)|Sep 18, 2018

Stochastic Gradient Optimization Techniques被引用数 4

ひとこと要約

本稿では、大きな条件数下でも改善された勾配複雑度を達成する非凸最適化における非滑らか凸項を伴う、新規なSVRGスタイルの加速確率的アルゴリズムを提案する。段階的平均解に増加するサンプリング確率を導入することで、従来のSVRGスタイル手法よりも強力な収束保証が得られ、同時に低メモリ使用を維持する。

ABSTRACT

In this paper, we propose a new SVRG-style acceleated stochastic algorithm for solving a family of non-convex optimization problems whose objective consists of a sum of $n$ smooth functions and a non-smooth convex function. Our major goal is to improve the convergence of SVRG-style stochastic algorithms to stationary points under a setting with a large condition number $c$ - the ratio between the smoothness constant and the negative curvature constant. The proposed algorithm achieves the best known gradient complexity when $c\geq \Omega(n)$, which was achieved previously by a SAGA-style accelerated stochastic algorithm. Compared with the SAGA-style accelerated stochastic algorithm, the proposed algorithm is more practical due to its low memory cost that is inherited from previous SVRG-style algorithms. Compared with previous studies on SVRG-style stochastic algorithms, our theory provides much stronger results in terms of (i) reduced gradient complexity under a large condition number; and (ii) that the convergence is proved for a sampled stagewise averaged solution that is selected from all stagewise averaged solutions with increasing sampling probabilities instead of for a uniformly sampled solutions across all iterations.

研究の動機と目的

• 条件数が大きい非凸最適化において、SVRGスタイルのアルゴリズムの収束が遅い問題に対処すること。
• 滑らか関数の和と非滑らか凸項を含む非凸問題における勾配複雑度の改善。
• SAGAスタイル手法と同等の収束保証を達成しつつ、SVRGの低メモリ利点を維持すること。
• 非一様サンプリングによる段階的平均解の収束を確立し、理論的頑健性を向上させること。

提案手法

• アルゴリズムは、SVRGにインspiredされた分散低減メカニズムを用い、周期的な間隔で勾配のスナップショットを保持する。
• 段階的平均化戦略を適用し、各段階で増加するサンプリング確率を用いて解を平均化する。
• 高条件数下での勾配複雑度を低減するために、確率的最適化からの加速技術を組み合わせる。
• すべての段階的平均解に対して非一様サンプリングポリシーを活用することで、定常点への収束を保証する。
• SAGAスタイル手法とは異なり、現在の反復点と1つのスナップショット勾配のみを格納することで、低メモリ使用を実現する。

実験結果

リサーチクエスチョン

• RQ1 SVRGスタイルのアルゴリズムは、条件数c ≥ Ω(n)の非凸問題において、改善された勾配複雑度を達成できるか？
• RQ2 一様サンプリングではなく、非一様サンプリングによる段階的平均解の収束を証明できるか？
• RQ3 高条件数下で、SVRGスタイル手法の収束速度をSAGAスタイル加速手法に匹敵または上回るように向上できるか？
• RQ4 非凸最適化において、SAGAスタイルの収束性能を達成しつつ、低メモリ使用を維持できるか？

主な発見

• 提案アルゴリズムは、条件数c ≥ Ω(n)のとき、既存のSAGAスタイル結果と一致する最高の既知の勾配複雑度を達成する。
• 段階的平均解に増加するサンプリング確率を用いることで、従来のSVRGスタイル手法よりも強力な理論的収束保証を提供する。
• 低メモリコストを維持するため、SAGAスタイル手法と同等の収束性能を達成するが、実用性に優れる。
• 非一様サンプリングによるサンプリング段階的平均解の収束が証明され、先行研究の均一サンプリング仮定を上回る理論的頑健性が向上する。