[論文レビュー] A Stochastic Gradient Method with an Exponential Convergence Rate for Finite Training Sets

Nicolas Le Roux, Mark Schmidt+1 more|arXiv (Cornell University)|Feb 28, 2012

Stochastic Gradient Optimization Techniques参考文献 32被引用数 538

ひとこと要約

この論文は、過去の勾配を記憶することで、有限和問題に対して線形（指数的）収束を達成する、新しい確率的最適化アルゴリズムであるStochastic Average Gradient（SAG）法を提案する。標準の確率的勾配法とは異なり、部分線形収束にとどまらず、低コストな反復と高速な収束を両立し、実際の応用において、標準的なSG法やフル勾配法を上回る性能を発揮する。

ABSTRACT

We propose a new stochastic gradient method for optimizing the sum of a finite set of smooth functions, where the sum is strongly convex. While standard stochastic gradient methods converge at sublinear rates for this problem, the proposed method incorporates a memory of previous gradient values in order to achieve a linear convergence rate. In a machine learning context, numerical experiments indicate that the new algorithm can dramatically outperform standard algorithms, both in terms of optimizing the training error and reducing the test error quickly.

研究の動機と目的

• 有限和問題に対して部分線形収束しか達成できない標準的確率的勾配法の限界を克服すること。
• 確率的手法の低反復コストを維持しつつ、フル勾配法の線形収束速度を達成するアルゴリズムを開発すること。
• 有限データセットの構造を活用することで、機械学習応用におけるトレーニング誤差とテスト誤差の低減を高速化すること。
• 過去の勾配の記憶を用いる唯一の不偏勾配推定に基づいて、理論的に裏付けられた指数的収束を達成する手法を提供すること。

提案手法

• SAG法は、各トレーニング例に対して最新に計算された勾配の記憶を保持し、バッファに格納する。
• 各反復でランダムにトレーニング例が選択され、その勾配のみが再計算され、他の勾配は記憶から取得される。
• 更新則は、すべての保持された勾配をステップサイズを用いて組み合わせ、フル勾配の不偏推定を形成する。
• この方法は、各ステップで全勾配を再計算せずに、勾配の累積平均を維持することで収束を保証する。
• 定数ステップサイズを用い、強い凸性および滑らかさの仮定の下で線形収束を達成する。
• アルゴリズムは、有限トレーニングセットを想定した、インクリメンタルアグリゲート勾配（IAG）法の確率的変種である。

実験結果

リサーチクエスチョン

• RQ1 有限和問題に対して、低コストな反復を維持しながら線形収束を達成できる確率的最適化手法は存在するか？
• RQ2 過去の勾配を記憶することで、標準的確率的勾配法と比較して収束速度はどのように変化するか？
• RQ3 有限和最適化において、確率的更新と勾配記憶を組み合わせた手法の理論的収束速度は何か？
• RQ4 提案手法は、標準的確率的勾配法およびフル勾配法と比較して、トレーニング誤差およびテスト誤差の低減において優れているか？
• RQ5 SAG法は、座標降下法や加速勾配法と比較して、どのような条件下でより高速に収束するか？

主な発見

• SAG法は、標準的確率的勾配法が部分線形収束にとどまるのとは異なり、線形（指数的）収束率を達成する。
• SAGの収束速度は、一般の不偏勾配アクセスのもとで最適とされている標準的確率的勾配法よりも速い。
• 数値実験では、SAGがトレーニング誤差およびテスト誤差の低減において、標準的手法を著しく上回ることが示された。
• 問題が $ n \gg p $ を満たす場合、特に $ m_{\sigma} \gg m'_{\sigma} $ のとき、SAGは座標降下法よりも速く収束する。
• 有利な条件下では、SAGは $ n $ 回の反復あたり $ \exp(-1/64) $ の収束率を達成し、$ n $ が大きい場合には座標降下法を上回る。
• SAGは、反復コストが低く、収束が速いため、データの有効なパス数の観点から、フル勾配法よりも速い収束を達成する。