[論文レビュー] Amortized Analysis on Asynchronous Gradient Descent

Yun Kuen Cheung, Richard Cole|arXiv (Cornell University)|Nov 29, 2014

Optimization and Search Problems参考文献 21被引用数 9

ひとこと要約

本稿は、非同期勾配降下（AGD）のための新しいアンモタイズド解析フレームワークを導入し、悪いつぶやき（bad updates）を許容し、通信を最小限に抑えつつ、コア数に比例した線形スケーリングを実現する。連続時間タイミングモデルとヘッセ行列に基づくステップサイズ選択を用いることで、凸関数における収束を保証し、対称正定値線形系や分離可能な凸最小化問題といった大規模問題へ応用可能である。

ABSTRACT

Gradient descent is an important class of iterative algorithms for minimizing convex functions. Classically, gradient descent has been a sequential and synchronous process. Distributed and asynchronous variants of gradient descent have been studied since the 1980s, and they have been experiencing a resurgence due to demand from large-scale machine learning problems running on multi-core processors. We provide a version of asynchronous gradient descent (AGD) in which communication between cores is minimal and for which there is little synchronization overhead. We also propose a new timing model for its analysis. With this model, we give the first amortized analysis of AGD on convex functions. The amortization allows for bad updates (updates that increase the value of the convex function); in contrast, most prior work makes the strong assumption that every update must be significantly improving. Typically, the step sizes used in AGD are smaller than those used in its synchronous counterpart. We provide a method to determine the step sizes in AGD based on the Hessian entries for the convex function. In certain circumstances, the resulting step sizes are a constant fraction of those used in the corresponding synchronous algorithm, enabling the overall performance of AGD to improve linearly with the number of cores. We give two applications of our amortized analysis.

研究の動機と目的

• 非同期勾配降下における収束の課題に取り組むこと：更新が改善しない、または遅延する可能性がある状況でも収束を保証する。
• 大規模機械学習における分散勾配降下の通信および同期のオーバーヘッドを低減すること。
• 連続的かつ非同期的な更新を可能にするタイミングモデルを構築し、待機を排除することでスケーラビリティを向上させること。
• 同期アルゴリズムのステップサイズに比例するステップサイズを導出することで、コア数に比例した性能向上を実現すること。
• 2つの大規模凸最適化問題クラス（線形系と分離可能な凸関数）における収束の理論的保証を提供すること。

提案手法

• 各コアが自らのペースで独立して更新する連続時間タイミングモデルを提案し、同期待ちを排除する。
• 収束を保証するための有界な非同期性仮定を導入する。
• アンモタイズド解析を用いて、目的関数値を増加させる個々の更新を許容する。これは、従来の研究が厳密に改善するステップを要求していたのとは対照的である。
• 凸関数のヘッセ行列の要素に基づくステップサイズを導出し、遅延した勾配が存在しても安定性と収束を保証する。
• 2つの問題クラスに応用する：対称正定値線形系 $Ap = b$ の解法と、二次正則化付き分離可能な凸関数の最小化。
• 補完的CESまたはリー・オンティーフ型効用関数を有するフィッシャーマーケットにおける非同期タトゥンタのダイナミクスを分析し、市場均衡への収束を証明する。

実験結果

リサーチクエスチョン

• RQ1 非同期勾配降下は、個々の更新が一時的に目的関数値を増加させる場合でも収束するか？
• RQ2 分散勾配降下において、収束を維持しつつ通信および同期のオーバーヘッドを最小限に抑える方法は何か？
• RQ3 遅延勾配が存在する非同期設定で収束を保証するステップサイズルールは何か？
• RQ4 提案されたAGDは、大規模凸最適化問題においてコア数に比例した線形スケーリングを達成できるか？
• RQ5 補完的CESまたはリー・オンティーフ型効用関数を有するフィッシャーマーケットにおいて、非同期タトゥンタは市場均衡に収束するか？

主な発見

• アンモタイズド解析により、目的関数値を増加させる悪いつぶやきを許容でき、従来の研究が厳密に改善するステップを要求していたのと比べて、より現実的なモデルを提供する。
• ヘッセ行列の要素から導出されたステップサイズにおいて、AGDのステップサイズは同期アルゴリズムの定数倍であるため、コア数に比例した線形スケーリングが可能になる。
• 提案されたタイミングモデルのもとで、対称正定値線形系 $Ap = b$ に対して最適解への収束が保証される。
• 問題クラス $\sum_{i=1}^{n}f_{i}(p_{i}) + \frac{1}{2}\|Ap-b\|^{2}$ に対して、最小限の通信と同期のオーバーヘッドで収束が保証される。
• 補完的CESまたはリー・オンティーフ型効用関数を有するフィッシャーマーケットにおいて、非同期タトゥンタの変種が市場均衡に収束する。
• 理論的境界により、古い勾配からの誤差がアンモタイズド解析によって制御され、継続的な遅延が存在しても発散を防ぐことが示された。