[論文レビュー] On Variance Reduction in Stochastic Gradient Descent and its Asynchronous Variants

Sashank J. Reddi, Ahmed Hefny+3 more|arXiv (Cornell University)|Jun 23, 2015

Stochastic Gradient Optimization Techniques参考文献 27被引用数 111

ひとこと要約

本稿は、分散削減付き確率的勾配降下法（SGD）アルゴリズムの統一的フレームワークを提案し、スパースな機械学習設定においてほぼ線形のスケーリング性能を達成する非同期バージョンの開発を可能にする。また、理論的に線形収束を保証する非同期SVRGに類似したアルゴリズムを導入し、実際の性能において、標準的なSGDおよび分散削減なしの非同期手法を上回っている。

ABSTRACT

We study optimization algorithms based on variance reduction for stochastic gradient descent (SGD). Remarkable recent progress has been made in this direction through development of algorithms like SAG, SVRG, SAGA. These algorithms have been shown to outperform SGD, both theoretically and empirically. However, asynchronous versions of these algorithms---a crucial requirement for modern large-scale applications---have not been studied. We bridge this gap by presenting a unifying framework for many variance reduction techniques. Subsequently, we propose an asynchronous algorithm grounded in our framework, and prove its fast convergence. An important consequence of our general approach is that it yields asynchronous versions of variance reduction algorithms such as SVRG and SAGA as a byproduct. Our method achieves near linear speedup in sparse settings common to machine learning. We demonstrate the empirical performance of our method through a concrete realization of asynchronous SVRG.

研究の動機と目的

• 大規模な機械学習における非同期分散削減付きSGDの理論的収束保証の欠如に対処すること。
• SAG、SVRG、SAGAといった既存の分散削減技術を、一つの形式的フレームワークに統合すること。
• このフレームワークに基づく高速収束を維持する非同期並列アルゴリズムの開発。
• スパースデータ環境における実験的スケーリング性能の確認を通じて、理論的なほぼ線形スケーリング性能の妥当性を検証すること。
• 分散削減の適用範囲を現代の分散および非同期コンピューティング環境へ拡張すること。

提案手法

• 著者らは、各成分関数 f_i に対して補助変数 α_i^t を維持する一般化されたアルゴリズムフレームワークを提案し、構造的な勾配更新によって分散削減を実現する。
• フレームワークは、補助変数の更新方法を決定する ScheduleUpdate サブルーチンを組み込み、SVRG や SAGA といった既知の手法の具体化を可能にする。
• 非同期バージョンである Hsag は、遅延付き勾配とロックフリー更新を用いて、並列実行を可能にするフレームワークから導出される。
• ステップサイズ η、モーメンタムパラメータ β、正則化パラメータ c を採用し、線形収束を保証するようにパラメータを調整する。
• 収束解析は、Bregman散発と分散分解を用いて勾配推定の期待二乗ノルムをバインドすることで行われる。
• 強い凸性およびLipschitz勾配仮定の下で理論的保証が得られ、期待値における線形収束が示されている。

実験結果

リサーチクエスチョン

• RQ1 SAG、SVRG、SAGA といった分散削減付きSGD手法を体系的に記述・分析できる統一的フレームワークを開発できるか？
• RQ2 分散削減付き手法の非同期バージョンを、理論的に線形収束を保証する形で設計できるか？
• RQ3 これらの非同期アルゴリズムは、スパースな機械学習設定においてほぼ線形のスケーリング性能を達成するか？
• RQ4 提案された非同期分散削減付き手法の性能は、分散削減なしの非同期SGDと比べてどのように異なるか？
• RQ5 同期および非同期設定の両方で高速収束を実現するためのパラメータ設定は何か？

主な発見

• 提案された Hsag アルゴリズムは、非同期更新のもとで滑らかで強く凸な有限和問題に対して線形収束を達成する。
• 条件数が高い状況（L/λ = n）では、合計計算複雑度が O(n log(1/ε)) に抑えられ、バッチ勾配降下の理論的下界と一致するが、実用的性能はさらに優れている。
• スパースデータ設定では、理論的予測どおり、プロセッサ数に対してほぼ線形のスケーリング性能が達成される。
• 実験的結果では、分散削減なしの非同期SGDよりも顕著なスケーリング性能が確認され、並列環境における分散削減の理論的利点が裏付けられた。
• フレームワークは、SVRG や SAGA の非同期版を自然に特殊ケースとして得られ、その一般性と拡張可能性を示している。
• より洗練された解析により、SVRG や SAGA の事例で示されるように、収束定数を鋭く導出できる可能性があることから、さらなる最適化の余地がある。