[論文レビュー] Asynchronous Stochastic Gradient Descent with Variance Reduction for Non-Convex Optimization

Zhouyuan Huo, Heng Huang|arXiv (Cornell University)|Apr 12, 2016

Stochastic Gradient Optimization Techniques参考文献 23被引用数 23

ひとこと要約

本稿は、非凸最適化における非同期確率的勾配降下法と分散低減を組み合わせた AsySVRG の理論的収束解析を初めて提示する。共有メモリおよび分散メモリアーキテクチャの両方で、AsySVRG が $O(1/T)$ の収束速度を達成することを証明し、作業者数を増やすことで線形スケーリングが可能であることを示す。分散低減により、標準的な非同期 SGD よりも収束が加速されることを示している。

ABSTRACT

We provide the first theoretical analysis on the convergence rate of the asynchronous stochastic variance reduced gradient (SVRG) descent algorithm on non-convex optimization. Recent studies have shown that the asynchronous stochastic gradient descent (SGD) based algorithms with variance reduction converge with a linear convergent rate on convex problems. However, there is no work to analyze asynchronous SGD with variance reduction technique on non-convex problem. In this paper, we study two asynchronous parallel implementations of SVRG: one is on a distributed memory system and the other is on a shared memory system. We provide the theoretical analysis that both algorithms can obtain a convergence rate of $O(1/T)$, and linear speed up is achievable if the number of workers is upper bounded. V1,v2,v3 have been withdrawn due to reference issue, please refer the newest version v4.

研究の動機と目的

• 非凸問題における非同期 SVRG の理論的ギャップを埋めること。これまでの研究は凸設定に限定されていた。
• 共有メモリおよび分散メモリシステムという2つの異なる並列アーキテクチャにおける AsySVRG の収束挙動を分析すること。
• 分散低減が非凸設定において、標準的な非同期 SGD よりも速い収束を実現できることを確立すること。
• 両アーキテクチャにおいて、作業者数を増やすことで線形スケーリングが達成可能であることを証明すること。

提案手法

• 共有メモリ用（座標毎のアトミック更新）および分散メモリ用（ベクトルのアトミック更新）の2つの非同期 SVRG の変種を提案する。
• 非凸問題の収束指標として、勾配ノルムの二乗の重み付き平均 $\mathbb{E}[||\nabla f(x)||^2]$ を使用する。
• 再帰的解析を用いて誤差項をバインドし、分散および遅延の影響を制御するための係数 $c_t$ と $\Gamma_t$ を導入する。
• 標準的な仮定を課す：勾配は不偏、$L$-スムーズ、時間遅延 $\Delta$ が有界。
• SVRG の更新ルールに古い勾配を組み込み、1エポックあたりの目的関数値の期待減少を分析することで収束バウンドを導出する。
• 時間依存の学習率 $\eta_t = \eta = \frac{u_0 b}{L n^\alpha}$ を使用し、$0 < \alpha < 1$ とし、1エポックあたりの反復回数を $m = \lfloor n^\alpha / (6u_0 b) \rfloor$ と設定する。

実験結果

リサーチクエスチョン

• RQ1 非凸最適化において、非同期 SVRG は標準的な非同期 SGD よりも速い収束速度を達成できるか？
• RQ2 共有メモリおよび分散メモリアーキテクチャの両方において、AsySVRG は非凸問題で線形収束を維持できるか？
• RQ3 非凸設定における非同期 SVRG で、作業者数を増やすことで線形スケーリングが達成可能か？
• RQ4 勾配の古さと分散は、非凸目的関数における非同期 SVRG の収束にどのように影響するか？

主な発見

• AsySVRG は、共有メモリおよび分散メモリアーキテクチャの両方において、非凸滑らか問題で $O(1/T)$ の収束速度を達成する。
• 非凸設定において、標準的な非同期 SGD の $O(1/\sqrt{T})$ の収束速度よりも速い。
• 遅延 $\Delta$ が有界である限り、作業者数を増やすことで線形スケーリングが理論的に達成可能である。
• 解析により、$\Delta^2$ が有界であれば、古い勾配が存在しても手法が安定かつ収束することを示した。
• 理論的バウンドは、$\sigma$ という小さな正の定数に依存しており、これは遅延と学習率が十分に制御されていれば存在する。
• MNIST および CIFAR-10 における実験結果が理論的主張を検証し、より速い収束とスケーラビリティを示している。