[論文レビュー] Nonlinear Acceleration of Stochastic Algorithms

Damien Scieur, Alexandre d’Aspremont+1 more|arXiv (Cornell University)|Jun 22, 2017

Stochastic Gradient Optimization Techniques被引用数 17

ひとこと要約

本稿では、強い凸性パラメータの知識を必要とせずに、過去の反復点の線形結合によるステップの外挿を用いて、確率的勾配法の反復点を非線形に加速する手法を提案する。この手法により、SGD、SAGA、SVRG、Katyushaの複数のデータセットにおける収束速度が著しく向上し、理論的収束バウンドと実践的性能の両方の向上が示された。

ABSTRACT

Extrapolation methods use the last few iterates of an optimization algorithm to produce a better estimate of the optimum. They were shown to achieve optimal convergence rates in a deterministic setting using simple gradient iterates. Here, we study extrapolation methods in a stochastic setting, where the iterates are produced by either a simple or an accelerated stochastic gradient algorithm. We first derive convergence bounds for arbitrary, potentially biased perturbations, then produce asymptotic bounds using the ratio between the variance of the noise and the accuracy of the current point. Finally, we apply this acceleration technique to stochastic algorithms such as SGD, SAGA, SVRG and Katyusha in different settings, and show significant performance gains.

研究の動機と目的

• 従来、決定的設定で有効であった非線形外挿技術を、ノイズのある勾配を伴う確率的最適化に拡張すること。
• 勾配推定値における確率的ノイズを含む、任意のバイアス付き摂動に対して収束バウンドを分析すること。
• ノイズ分散と現在の反復点の精度の比に基づいた漸近的収束レートを導出すること。
• 画像分類および表形式データセットを用いた多様なデータセットと設定において、SGD、SAGA、SVRG、Katyushaなどの確率的アルゴリズムに対する加速手法の実証的妥当性を検証すること。

提案手法

• 本手法は、確率的1階オракル更新によって生成された反復点に非線形外挿を適用し、過去の反復点の線形結合を用いて最適解のより正確な推定値を得る。
• Scieurら（2016）の決定的非線形加速フレームワークを、最適解回りの線形化された系に対する摂動としてモデル化することで、確率的摂動を扱えるように一般化する。
• 制御理論と多項式外挿の道具を用いて、真の勾配フローと摂動付き反復点との差を追跡することで収束バウンドを導出する。
• 線形結合の係数は、線形化モデルにおける残差誤差を最小化するデータ駆動型アプローチに基づいて計算される。
• 理論的分析には、有限標本バウンドとノイズ対精度比に依存する漸近的収束レートが含まれる。
• SGD、SAGA、SVRG、Katyushaを含む複数の確率的アルゴリズムに本手法を適用し、画像分類および表形式データセットを用いた実証的評価が行われた。

実験結果

リサーチクエスチョン

• RQ1 決定的最適化で有効であった非線形外挿技術は、ノイズのある勾配を伴う確率的1階法に対しても成功裏に拡張可能か？
• RQ2 確率的設定における任意のバイアス付き摂動（勾配推定値の確率的ノイズを含む）に対して、非線形加速の収束バウンドは何か？
• RQ3 外挿反復点の漸近的収束レートは、ノイズ分散と現在の反復点の最適解からの距離の比にどのように依存するか？
• RQ4 非線形加速は、SGD、SAGA、SVRG、Katyushaなどの確率的アルゴリズムの実用的性能をどの程度向上させるか？
• RQ5 外挿手法は、収束性能を損なわずに深層学習における学習率の減少戦略を加速できるか？

主な発見

• 非線形加速手法は、強い凸性パラメータを事前に知らなくても、加速された決定的手法と同等の漸近的収束レートを達成する。
• 実証的結果では、CIFAR-10およびCIFAR-100データセットにおけるResNetアーキテクチャに本手法を適用した場合、トレーニング損失とテスト精度の両方で顕著な向上が得られた。
• 外挿反復点を用いることで、早期の学習率の減少が可能となり、一般化性能の向上とトレーニング時間の短縮が達成された（リスタート戦略としての応用）。
• Sonar、Madelon、Random、Sido0などの表形式データセットにおいて、本手法は異なる条件のレベルにおいても、ベースラインの確率的アルゴリズムを一貫して上回った。
• SAGA、SVRG、Katyushaを含む複数の確率的アルゴリズムに本加速手法が有効であることが示され、広範な適用可能性が確認された。
• 理論的分析により、収束レートがノイズ分散と現在の反復点の最適解からの距離の比に依存することを確認し、漸近的挙動の妥当性が裏付けられた。