[論文レビュー] QSGD: Randomized Quantization for Communication-Optimal Stochastic Gradient Descent

Dan Alistarh, Jerry Li+2 more|arXiv (Cornell University)|Oct 7, 2016

Stochastic Gradient Optimization Techniques参考文献 15被引用数 68

ひとこと要約

QSGD は、勾配更新をランダム化量子化によって圧縮することで、モデル次元に対して非線形的通信コストで証明可能な収束を実現する通信効率の良い確率的勾配降下法である。これは、実世界の深層学習タスクにおいて競争力のある性能を維持しながら、漸近的に最適な通信効率を達成する。

ABSTRACT

Parallel implementations of stochastic gradient descent (SGD) have received significant research attention, thanks to excellent scalability properties of this algorithm, and to its efficiency in the context of training deep neural networks. A fundamental barrier for parallelizing large-scale SGD is the fact that the cost of communicating the gradient updates between nodes can be very large. Consequently, lossy compresion heuristics have been proposed, by which nodes only communicate quantized gradients. Although effective in practice, these heuristics do not always provably converge, and it is not clear whether they are optimal. In this paper, we propose Quantized SGD (QSGD), a family of compression schemes which allow the compression of gradient updates at each node, while guaranteeing convergence under standard assumptions. QSGD allows the user to trade off compression and convergence time: it can communicate a sublinear number of bits per iteration in the model dimension, and can achieve asymptotically optimal communication cost. We complement our theoretical results with empirical data, showing that QSGD can significantly reduce communication cost, while being competitive with standard uncompressed techniques on a variety of real tasks.

研究の動機と目的

• 分散 SGD における高い通信コストに対処し、効率的な勾配圧縮を可能にすること。
• 多くのヒューリスティック量子化手法とは異なり、標準的な仮定の下で収束を保証する圧縮方式を設計すること。
• 調整可能な量子化レベルを通じて、通信コストと収束速度の間の調整可能なトレードオフを可能にすること。
• モデル次元に対する反復ごとのビット数として、漸近的に最適な通信複雑度を達成すること。
• 実際の深層学習タスクにおいて、量子化された勾配がフル精度 SGD と同等の性能を維持することを実験的に検証すること。

提案手法

• QSGD は、ノード間での送信前に勾配ベクトルを低ビット表現に圧縮するためにランダム化量子化を用いる。
• 各勾配成分を期待値を保持する確率的丸め方式を用いて量子化値にマッピングする。
• ユーザーが各勾配成分あたりのビット数を制御可能であり、圧縮と精度損失の間のトレードオフを実現できる。
• 量子化方式は、量子化勾配の期待値が元の勾配と等しくなるように設計されており、偏りのない更新を保証する。
• 通信コストはモデル次元に対して非線形的に増加し、反復ごとのビット数として漸近的最適性を達成する。
• 標準的な確率的勾配降下法の仮定（リプシッツ連続性と分散の有界性）の下で収束保証を維持する。

実験結果

リサーチクエスチョン

• RQ1 多くのヒューリスティック手法とは異なり、分散 SGD における収束を保証できる勾配量子化を設計できるか？
• RQ2 確率的勾配降下法に必要な理論的最小通信コストは何か？ そして、それを達成できるか？
• RQ3 量子化ビットレートと収束速度のトレードオフは、学習性能にどのように影響するか？
• RQ4 量子化された勾配は、実世界の深層学習タスクにおいて競争力のある精度と収束速度を維持できるか？
• RQ5 通信効率と収束安定性の両立を最適化する量子化戦略は何か？

主な発見

• QSGD は、反復ごとのビット数としてモデル次元に対して非線形的に増加する漸近的最適な通信コストを達成する。
• 標準的な仮定の下で収束を保証するため、ヒューリスティック圧縮手法がしばしば失敗する状況でも理論的安心性を提供する。
• 実験結果から、QSGD はさまざまな実世界の深層学習タスクにおいて、フル精度 SGD と同等の訓練精度を維持していることが示された。
• 勾配成分あたりのビット数を調整することで、QSGD は通信コストと収束速度の間の調整可能なトレードオフを実現できる。
• ランダム化量子化方式により、偏りのない勾配推定が保証され、圧縮にもかかわらず収束特性が維持される。
• QSGD はモデル性能を損なうことなく通信オーバーヘッドを顕著に低減し、大規模分散学習に適している。