[論文レビュー] Fast Incremental Method for Nonconvex Optimization

Sashank J. Reddi, Suvrit Sra+2 more|arXiv (Cornell University)|Mar 19, 2016

Sparse and Compressive Sensing Techniques参考文献 25被引用数 30

ひとこと要約

本稿では、非凸有限和最適化のための高速な逐次的集約勾配法であるSagaを提案し、その分析を行う。勾配降下法および確率的勾配降下法よりも速く停留点に収束することを証明した。ポリアック型非凸問題に対して線形収束を確立し、正則化およびミニバッチ版を導入することで、固定ステップサイズを用いた理論的・実験的性能が向上した。

ABSTRACT

We analyze a fast incremental aggregated gradient method for optimizing nonconvex problems of the form $\min_x \sum_i f_i(x)$. Specifically, we analyze the SAGA algorithm within an Incremental First-order Oracle framework, and show that it converges to a stationary point provably faster than both gradient descent and stochastic gradient descent. We also discuss a Polyak's special class of nonconvex problems for which SAGA converges at a linear rate to the global optimum. Finally, we analyze the practically valuable regularized and minibatch variants of SAGA. To our knowledge, this paper presents the first analysis of fast convergence for an incremental aggregated gradient method for nonconvex problems.

研究の動機と目的

• 高速な逐次的最適化手法における非凸最適化の理論的収束保証の欠如、特に非凸な成分関数を有する問題に対して、その問題を解決すること。
• 非凸有限和問題における逐次的1階オракル（IFO）フレームワーク内で、Sagaと呼ばれる逐次的集約勾配法を分析すること。
• 非凸問題において、勾配降下法および確率的勾配降下法よりも速い収束レートを理論的に確立すること。
• Sagaの正則化およびミニバッチ版への分析を拡張し、実用的なスケーラビリティと収束の改善を可能にすること。
• 固定ステップサイズが非凸設定で効果的に使用可能であることを示し、確率的勾配降下法における主な欠点を克服すること。

提案手法

• 本稿では、各オラクル呼び出しが単一の成分関数の関数値と勾配を返す、逐次的1階オラクル（IFO）フレームワークを用いて、Sagaと呼ばれる逐次的集約勾配法を分析する。
• 各成分関数 $ f_i $ が $ L $-スムーズかつリプシッツ連続であると仮定し、凸性は必要としない。
• この手法は過去の勾配の移動平均を維持し、収束速度を向上させるための分散低減メカニズムを用いる。
• 正則化問題では、スパarsityを促進し、条件数を改善する非凸的で滑らかな正則化子 $ r(x) = \lambda \sum_{i=1}^d \alpha x_i^2 / (1 + \alpha x_i^2) $ が導入される。
• Sagaのミニバッチ版が提案され、ミニバッチサイズに比例して線形速度向上を達成し、標準的なSGDよりも収束レートが向上する。
• 理論的分析は、グローバル最適解への線形収束を可能にするポリアック＝ロジャチェヴィッチ（PL）条件に基づく。

実験結果

リサーチクエスチョン

• RQ1 Sagaのような逐次的集約勾配法は、非凸有限和問題において、勾格降下法および確率的勾配降下法よりも速く収束することができるか？
• RQ2 Sagaはどのような条件下で、非凸設定においてグローバル最適解への線形収束を達成するか？
• RQ3 分散低減手法を用いた非凸最適化において、固定ステップサイズを安全に使用できるか？また、SGDにおける減少ステップサイズと比較してどうか？
• RQ4 Sagaの正則化およびミニバッチ版は、収束レートおよび実用的スケーラビリティにおいて、どのように性能を発揮するか？
• RQ5 IFOフレームワークは、非凸最適化における逐次的手法の収束分析を、より鋭く可能にするか？

主な発見

• Sagaは、非凸有限和問題において、勾格降下法および確率的勾配降下法よりも速く停留点に収束し、収束レートの理論的改善が保証される。
• 勾配優位性条件を満たすポリアック型非凸問題に対して、Sagaはグローバル最小値への線形収束を達成するが、SGDは部分的収束レートにとどまる。
• 正則化版のSaga（Reg-Saga）は、一般化線形モデルのような非凸正則化問題において、SGDよりも速い収束を達成する。rcv1およびrealsimデータセットでの実験でその有効性が示された。
• Reg-Sagaは、SGDよりも顕著に小さい停留性ギャップ $ \|\nabla f(x)\|^2 $ を達成しており、理論的期待と一致する。
• Sagaのミニバッチ版は、ミニバッチサイズに比例して線形速度向上を達成し、同じIFOコストモデル下でSGDを上回る収束レートを示した。
• Sagaでは固定ステップサイズを効果的に使用可能であり、SGDで一般的に必要とされる減少ステップサイズと比較して、ハイパーパramータチューニングが簡素化される。