[論文レビュー] Moniqua: Modulo Quantized Communication in Decentralized SGD

Yucheng Lu, Christopher De|arXiv (Cornell University)|Feb 26, 2020

Stochastic Gradient Optimization Techniques参考文献 49被引用数 6

ひとこと要約

Moniqua は、非集中型確率的勾配降下法（SGD）における通信効率性とメモリフリーな量子化技術であり、符号算術を用いて、収束速度を損なわずに 1 ビット量子化通信を可能にする。Moniqua は、完全精度の非集中型 SGD と同等の漸近的収束性を保証するが、追加のメモリを必要とせず、任意の量子化器および非定数ステップサイズをサポートする。

ABSTRACT

Running Stochastic Gradient Descent (SGD) in a decentralized fashion has shown promising results. In this paper we propose Moniqua, a technique that allows decentralized SGD to use quantized communication. We prove in theory that Moniqua communicates a provably bounded number of bits per iteration, while converging at the same asymptotic rate as the original algorithm does with full-precision communication. Moniqua improves upon prior works in that it (1) requires zero additional memory, (2) works with 1-bit quantization, and (3) is applicable to a variety of decentralized algorithms. We demonstrate empirically that Moniqua converges faster with respect to wall clock time than other quantized decentralized algorithms. We also show that Moniqua is robust to very low bit-budgets, allowing 1-bit-per-parameter communication without compromising validation accuracy when training ResNet20 and ResNet110 on CIFAR10.

研究の動機と目的

• 量子化通信を非集中型 SGD に適用する課題に対処すること。特に、単純な量子化は、収束が低下する要因となる非減衰のモデルパラメータ差の影響を受ける。
• 追加のメモリ使用量を増加させることなく、極めて低ビットの量子化（例：1 ビット）をサポートする手法を設計すること。
• 偏りのある量子化器や非定数ステップサイズを用いても、完全精度の非集中型 SGD と同等の漸近的収束速度を保証すること。
• 誤差トラッキングやモデルレプリカの必要性を排除すること。これにより、従来の手法で生じる高いメモリオーバーヘッドを回避する。
• 低帯域幅や高レイテンシのネットワーク環境下でも、量子化された非集中型学習のロバスト性とスケーラビリティを実証すること。

提案手法

• Moniqua は符号算術を用い、モデルパラメータ差の符号値のみを送信することで、収束に近づくと差が小さくなるという事実を活用する。
• 理論的境界を活用し、|x - y| < θ ならば、x は (x mod 2θ - y mod 2θ) mod 2θ + y から再構成可能であることを用い、ビット要件を削減する。
• 混合時間 t_mix と勾配ノルムの境界を用いて、ワーカー間のパラメータ差に上限 θ を動的に維持する。
• D-PSGD、D²、AD-PSGD などのさまざまな非集中型アルゴリズムに適用可能であり、完全精度バージョンと同等の条件下で収束保証が得られる。
• 誤差トラッキングやモデルレプリケーションを回避するため、追加のメモリコストはゼロである。
• アルゴリズムは、値を有限集合へマップする量子化器を用い、符号演算により通信ビット数を制限する。

実験結果

リサーチクエスチョン

• RQ1 量子化通信を非集中型 SGD に効果的に適用できるか？収束性能が低下しないか？
• RQ2 1 ビット量子化を非集中型学習に用いることで、収束性と精度を維持できるか？
• RQ3 量子化された非集中型学習において、ゼロの追加メモリオーバーヘッドで完全精度の収束速度を達成できるか？
• RQ4 従来の手法とは異なり、非定数ステップサイズおよび偏りのある量子化器に対しても動作可能か？
• RQ5 低帯域幅または高レイテンシのネットワーク環境下で、Moniqua はどのようにスケーリングするか？

主な発見

• Moniqua は、1 ビット量子化であっても、完全精度の非集中型 SGD と同等の漸近的収束速度を達成する。
• 実験結果から、同じ量子化器を用いた他の量子化非集中型アルゴリズムと比較して、ウォールクロック時間での収束が速いことが示された。
• ResNet20 および ResNet110 を用いた CIFAR10 では、1 パラメータあたり 1 ビットのみで検証精度を維持した。
• 非常に低いビット予算下でも性能劣化がなく、1 ビット精度でも劣化が見られない。
• 従来の誤差トラッキングやレプリカを用いる手法とは異なり、追加のメモリを必要とせず、モデルサイズやグラフサイズに比例して増加しない。
• 理論的分析により、Moniqua の通信コストは、モデルサイズやネットワークトポロジーにかかわらず、1イテレーションあたりの通信ビット数が明示的に有界であることが保証された。