[論文レビュー] 99% of Distributed Optimization is a Waste of Time: The Issue and How to Fix it

Konstantin Mishchenko, Filip Hanzely+1 more|arXiv (Cornell University)|Jan 27, 2019

Stochastic Gradient Optimization Techniques参考文献 41被引用数 5

ひとこと要約

この論文は、標準的な分散最適化における通信の99％が、すべてのワーカーから全勾配を送信することによって生じる冗長性により無駄であると特定し、非効率な要因を特定している。本研究では、各ワーカーが勾配ブロックの一部のみを送信するブロックスパース勾配更新法を提案しており、収束速度を維持しながら通信量を最大99％まで削減できる。理論的裏付けと合成データおよび実データを用いた実験により検証されている。

ABSTRACT

Many popular distributed optimization methods for training machine learning models fit the following template: a local gradient estimate is computed independently by each worker, then communicated to a master, which subsequently performs averaging. The average is broadcast back to the workers, which use it to perform a gradient-type step to update the local version of the model. It is also well known that many such methods, including SGD, SAGA, and accelerated SGD for over-parameterized models, do not scale well with the number of parallel workers. In this paper we observe that the above template is fundamentally inefficient in that too much data is unnecessarily communicated by the workers, which slows down the overall system. We propose a fix based on a new update-sparsification method we develop in this work, which we suggest be used on top of existing methods. Namely, we develop a new variant of parallel block coordinate descent based on independent sparsification of the local gradient estimates before communication. We demonstrate that with only $m/n$ blocks sent by each of $n$ workers, where $m$ is the total number of parameter blocks, the theoretical iteration complexity of the underlying distributed methods is essentially unaffected. As an illustration, this means that when $n=100$ parallel workers are used, the communication of $99\%$ blocks is redundant, and hence a waste of time. Our theoretical claims are supported through extensive numerical experiments which demonstrate an almost perfect match with our theory on a number of synthetic and real datasets.

研究の動機と目的

• SGD、SAGA、加速SGDといった一般的な分散最適化手法が、並列ワーカー数の増加に伴いスケーリングしにくくなる理由を特定すること。
• 全ワーカーから全勾配を送信する標準的な通信パターンが、根本的かつ冗長であることを示すこと。
• 通信オーバーヘッドを削減しながら理論的収束レートを維持する新しい更新スパース化技術を開発すること。
• 各ワーカーあたりm/nブロック（mは総ブロック数、nはワーカー数）の送信で十分であり、n=100の場合に通信量の99％が冗長であることを示すこと。
• 合成データおよび実世界のデータセットを用いた広範な数値実験により、理論的主張を検証すること。

提案手法

• 各ワーカーが局所的な勾配推定値に対して独立にスパース化を適用した後、通信を行う平行ブロック座標降下法の新バージョンを提案する。
• 各ワーカーは局所的な勾配推定値を計算し、その後、m/nブロック（mは全パラメータブロック数）のみをマスタに送信する。
• マスタはスパース化されたブロックを統合し、平均値をすべてのワーカーにブロードキャストしてモデル更新を行う。
• 分散手法の反復複雑度が、通信量をm/nブロックに制限しても本質的に変化しないことを、分散還元とブロック単位の期待値に基づく理論的枠組みを用いて示す。
• SAGA や SGD といった既存のアルゴリズムの上に本手法を適用し、最適化のコアロジックを変更せずに通信量を削減できる。
• 塔の性質（tower property）と条件付き期待値解析を用いて、期待誤差をバウンドし、標準的な仮定（凸性、滑らかさ、有界分散）の下で収束を証明する。

実験結果

リサーチクエスチョン

• RQ1 なぜ標準的な分散最適化手法（例：SGD, SAGA, 加速SGD）は、並列ワーカー数の増加に伴い線形にスケーリングしないのか？
• RQ2 分散手法における全勾配通信の冗長度はどの程度か？
• RQ3 収束速度を劣化させることなく通信量を99％削減できるか？
• RQ4 分散ブロック座標降下法において、収束保証を維持するためのスパース化戦略は何か？
• RQ5 通信効率と反復複雑度の観点から、本手法は既存手法と比べてどのように差がつくか？

主な発見

• n=100のワーカーを用いる場合、勾配ブロックの99％の送信が冗長であり、m/nブロック/ワーカーの送信で十分に収束速度を維持できる。
• 理論的分析により、通信量をm/nブロック/ワーカーに制限しても、元の分散手法の反復複雑度は本質的に変化しないことが示された。
• 合成データおよび実データを用いた数値実験では、理論と実際の結果がほぼ完全に一致しており、本手法の有効性が確認された。
• 提案されたスパース化手法により、通信オーバーヘッドを99％削減しながら、全勾配手法と同等の収束レートを維持できる。
• 本手法はSAGA、SGD、加速SGDといった既存のアルゴリズムと互換性があり、即座に統合可能でスケーラビリティを向上できる。
• 理論的バウンドにより、期待誤差が全通信手法と同等の速度で減少することが示されたが、スパース化による分散の影響でわずかな加法的項が生じる。