[論文レビュー] Estimate Sequences for Stochastic Composite Optimization: Variance Reduction, Acceleration, and Robustness to Noise

Andrei Kulunchakov, Julien Mairal|arXiv (Cornell University)|Jan 25, 2019

Stochastic Gradient Optimization Techniques参考文献 53被引用数 26

ひとこと要約

本稿では、推定列を用いた確率的複合最適化の統一的枠組みを導入し、SAGA、SVRG、MISOなどの分散低減手法を統一・分析するネステロフの手法を拡張する。一般的な収束証明を提供し、新たなロバストなアルゴリズムを導出し、確率的ノイズ下でも線形収束を維持する新しい加速SVRGの変種を提案する。これにより、ノイズが多い環境下での安定性と性能が向上する。

ABSTRACT

In this paper, we propose a unified view of gradient-based algorithms for stochastic convex composite optimization by extending the concept of estimate sequence introduced by Nesterov. More precisely, we interpret a large class of stochastic optimization methods as procedures that iteratively minimize a surrogate of the objective, which covers the stochastic gradient descent method and variants of the incremental approaches SAGA, SVRG, and MISO/Finito/SDCA. This point of view has several advantages: (i) we provide a simple generic proof of convergence for all of the aforementioned methods; (ii) we naturally obtain new algorithms with the same guarantees; (iii) we derive generic strategies to make these algorithms robust to stochastic noise, which is useful when data is corrupted by small random perturbations. Finally, we propose a new accelerated stochastic gradient descent algorithm and an accelerated SVRG algorithm with optimal complexity that is robust to stochastic noise.

研究の動機と目的

• SAGA、SVRG、MISOなどの既存の確率的最適化手法を、一つの理論的枠組みで統一・一般化すること。
• 広範な確率的勾配法のクラスに対して、一般的で単純な収束証明を提供すること。
• 収束保証が同じであるが、勾配推定値の確率的ノイズに対してよりロバストな新アルゴリズムの開発。
• 新しい加速確率的勾配法と、ノイズに強い加速SVRGアルゴリズムの設計。これにより、安定性と収束速度が向上する。

提案手法

• ネステロフの推定列の概念を確率的複合最適化に拡張し、アルゴリズムを便宜的目的関数を段階的に最小化するものとして扱う。
• 滑らかでない部分 ψ のためのプロキシマル項と、滑らかでない部分 f の二次近似を組み合わせた便宜的関数を用いる。
• 各反復で分散を低減した勾配を使用して推定列を更新する、汎用的なアルゴリズムテンプレートを導入する。
• 二段階戦略を採用：初期の定数ステップサイズフェーズに続き、適応的加速を実行。パラメータは収束性とノイズ耐性のバランスをとるように調整される。
• 適応的ステップサイズとモーメンタム項を用いた新しい加速メカニズムを導入し、ノイズ下でも高速な収束を達成する。
• 推定列の性質とノイズに配慮したパrameterチューニングによる分散制御を用いて、期待される最適性の理論的境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 確率的複合最適化における分散低減手法を統一的に分析・一般化する理論的枠組みを構築できるか？
• RQ2 推定列をノイズのある勾配推定値に対応させるにはどのように変更すればよいか。同時に収束保証を維持できるか？
• RQ3 SVRG型手法において、加速とノイズ耐性を達成するために最小限必要なアルゴリズム的変更は何か？
• RQ4 ノイズのある勾配下でも線形収束を維持する新しい加速確率的勾配法を設計できるか？

主な発見

• 提案された枠組みは、統一的推定列アプローチを用いて、SAGA、SVRG、MISO、および関連手法の収束証明を一般的かつ単純に実現する。
• この手法は、収束保証が同じ新たなアルゴリズムを自然に生成し、体系的なアルゴリズム設計を可能にする。
• ノイズのある勾配でさえも線形収束を維持する新しい加速SVRGアルゴリズムが導出された。
• 新しい加速SGDおよびSVRGの変種は、ノイズ耐性が向上しており、収束速度はノイズ分散と問題の条件数に依存する。
• 理論的分析により、適切なパrameterチューニングのもとで、期待値における収束速度が O(1/k²) に達することが示された。ノイズが存在する状況でも同様である。
• この枠組みにより、初期に定数ステップサイズフェーズを経てから適応的加速に移行する二段階最適化戦略が可能となり、反復複雑度の境界が改善された。