[論文レビュー] Taming the Wild: A Unified Analysis of Hogwild!-Style Algorithms

Christopher De, Ce Zhang+2 more|arXiv (Cornell University)|Jun 22, 2015

Data Management and Algorithms参考文献 13被引用数 76

ひとこと要約

本稿は、Hogwild! スタイルの非同期確率的勾配降下法（SGD）アルゴリズムを統一的にマルティングレールに基づいて分析する手法を提示し、緩い仮定のもとで収束速度の保証を可能にする。低精度算術を用いる非同期SGDの変種であるBuckwild!を導入し、凸および非凸問題における理論的収束性を確立した。実験では、Hogwild!に比べて最大2.3倍の高速化を達成した。

ABSTRACT

Stochastic gradient descent (SGD) is a ubiquitous algorithm for a variety of machine learning problems. Researchers and industry have developed several techniques to optimize SGD's runtime performance, including asynchronous execution and reduced precision. Our main result is a martingale-based analysis that enables us to capture the rich noise models that may arise from such techniques. Specifically, we use our new analysis in three ways: (1) we derive convergence rates for the convex case (Hogwild!) with relaxed assumptions on the sparsity of the problem; (2) we analyze asynchronous SGD algorithms for non-convex matrix problems including matrix completion; and (3) we design and analyze an asynchronous SGD algorithm, called Buckwild!, that uses lower-precision arithmetic. We show experimentally that our algorithms run efficiently for a variety of problems on modern hardware.

研究の動機と目的

• 非同期性、低精度算術、確率的サンプリングといった多様なノイズ源を持つ非同期SGDの変種を統一的に分析する理論的枠組みの欠如を解決すること。
• 凸問題におけるHogwild!の厳密なスパarsity仮定を緩和しつつ、収束保証を維持すること。
• 非凸行列補完問題における非同期SGDの収束レートを初めて導出すること。
• 低精度算術を用いる非同期SGDアルゴリズムBuckwild!を設計・分析し、その効率を実験的に検証すること。

提案手法

• 確率的サンプリング、遅延更新、量子化の複数の誤差源を統一的なノイズ過程としてモデル化するマルティングレールベースの収束解析を構築する。
• スーパーマルティングレール技術を用いて、最適解からの期待二乗距離をバインドし、更新の陳腐化確率（遅延の尾確率）を介して遅延の影響を組み込む。
• コーシー＝シュワルツとモーメントバウンドを用いて、陳腐化勾配と量子化ノイズの収束への影響を制御する。
• さまざまなノイズモデル下での最適解への期待二乗距離の減衰を分析することで、収束レートを導出する。
• 降下速度とノイズ増幅のバランスを取るステップサイズルールを導出し、最適解のε近傍への収束を保証する。
• 現代のハードウェア上でのロジスティック回帰および行列補完問題に対する実験を通じて、理論的枠組みの妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 異なるノイズ源を持つ多様な非同期SGDの変種を統一的に分析する理論的枠組みを構築できるか？
• RQ2 Hogwild!の収束保証を、凸最適化におけるより緩いスパarsity仮定に拡張できるか？
• RQ3 非凸行列補完問題における非同期SGDの収束特性は何か？
• RQ4 非同期SGDにおける低精度算術を厳密に分析可能か？また、どのような性能向上が達成できるか？
• RQ5 提案されたアルゴリズムBuckwild!は、Hogwild!と比較して理論的収束性と実用的高速化の両方を達成できるか？

主な発見

• 本稿では、緩いスパarsity仮定のもとで凸Hogwild!の収束レートを導出し、より厳しい条件のもとで先行研究の結果を回復した。
• 非凸行列補完問題における非同期SGDの収束レートを初めて確立し、最近の同期的結果を非同期設定に拡張した。
• 低精度算術の文脈では、量子化ノイズが境界付けられ、制御可能であることが示され、理論的収束保証が可能となった。
• 提案されたBuckwild!アルゴリズムは、現代のハードウェア上でのロジスティック回帰実験で、Hogwild!に比べ最大2.3倍の高速化を達成した。
• 統一的マルティングレールベースの枠組みは、確率性、非同期性、量子化という複数のノイズ源を、1つの解析的モデルに統合して的確に捉えた。
• Buckwild!の理論的収束レートは、問題パラメータと遅延分布に依存するステップサイズルールを用いて導出され、最適解のε近傍への収束を保証した。