[論文レビュー] Communication-Efficient Distributed Optimization with Quantized Preconditioners

Foivos Alimisis, Peter Maxwell Davies+1 more|arXiv (Cornell University)|Feb 14, 2021

Stochastic Gradient Optimization Techniques被引用数 6

ひとこと要約

本稿では、一般化線形モデル（QPGD-GLM）に対する通信効率の良い分散最適化アルゴリズムと、分散ニュートン法（QNewton）を提案し、条件数 𝜅 に対して非線形な依存関係を達成する。両手法は、勾配降下方向と事前条件子を同時に量子化しながら収束性を保ち、通信複雑度をそれぞれ 𝒪(ndκₗ log(nκₗκ(M)) log(γD/𝜖)) および 𝒪(nd² log(√d𝜅) log(γ𝜇/𝜎𝜖)) に低減し、従来の 𝜅 に線形依存するという前提を打ち破る。

ABSTRACT

We investigate fast and communication-efficient algorithms for the classic problem of minimizing a sum of strongly convex and smooth functions that are distributed among $n$ different nodes, which can communicate using a limited number of bits. Most previous communication-efficient approaches for this problem are limited to first-order optimization, and therefore have \\emph{linear} dependence on the condition number in their communication complexity. We show that this dependence is not inherent: communication-efficient methods can in fact have sublinear dependence on the condition number. For this, we design and analyze the first communication-efficient distributed variants of preconditioned gradient descent for Generalized Linear Models, and for Newton's method. Our results rely on a new technique for quantizing both the preconditioner and the descent direction at each step of the algorithms, while controlling their convergence rate. We also validate our findings experimentally, showing fast convergence and reduced communication.

研究の動機と目的

• 限られたビット通信の下で大規模機械学習の分散最適化における通信効率を向上させること。
• 一次の最適化手法における条件数 𝜅 に線形依存する欠点を、二次の情報を利用することで克服すること。
• 量子化を適用しても高速収束を維持できる、事前条件子付き勾配降下法およびニュートン法の通信効率の良い変種を設計すること。
• 事前条件子と降下方向の両方の量子化を同時に制御する新しい量子化技術を考案し、収束速度の維持を保証すること。
• 理論的および実験的に、通信複雑度が条件数 𝜅 に対して非線形に依存することを示し、従来の仮定に挑戦すること。

提案手法

• 一般化線形モデル向けに、量子化された事前条件子と降下方向を用いた通信効率の良い事前条件子付き勾配降下法（QPGD-GLM）を提案する。
• 事前条件子行列と探索方向の両方を同時に量子化する統合的量子化スキームを導入し、反復処理中の誤差増大を制限する。
• 滑らかさおよび強凸性のパラメータを用いて、量子化による誤差を境界化することで収束性を分析する。
• 局所ヘッセ行列とその平均を量子化する分散ニュートン法（QNewton）を設計し、低通信の二次の最適化を可能にする。
• ノードが中央のコーディネータに量子化された更新情報を送信するパラメータサーバーモデルを採用し、合計ビット送信量を最小化する。
• 反復処理における事前条件子、ヘッセ行列、降下方向の量子化および送信に必要なビット数を分析することで、通信複雑度の境界を確立する。

実験結果

リサーチクエスチョン

• RQ1 分散環境下で、二次の最適化手法が条件数 𝜅 に対して非線形な依存関係を示す通信効率を達成できるか？
• RQ2 収束速度の劣化を伴わずに、同時に事前条件子と降下方向を量子化することは可能か？
• RQ3 ビット制限下で事前条件子またはニュートンステップを用いた分散最適化の最適な通信複雑度は何か？
• RQ4 量子化を伴う二次の情報を利用することで、理論的下界 Ω(nd log(d/𝜖)) を達成または上回ることができるか？
• RQ5 量子化された事前条件子は、通信制限下の悪条件問題において、一次の最適化手法よりも高速な収束を可能にするか？

主な発見

• 提案された QPGD-GLM アルゴリズムは、条件数 𝜅 に対して非線形に依存する総通信コスト 𝒪(ndκₗ log(nκₗκ(M)) log(γD/𝜖)) を達成する。
• 分散ニュートン法（QNewton）は通信コスト 𝒪(nd² log(√d𝜅) log(γ𝜇/𝜎𝜖)) を達成し、二次の最適化手法が通信効率的であることを示している。
• QPGD-GLM の通信複雑度は、損失関数 ℓ の条件数 𝜅ₗ に依存しており、これは全体の問題条件数 𝜅 よりもはるかに小さいことが一般的である。
• 悪条件的だが低次元の問題に対しては、QNewton が二次の曲率情報により通信コストを低減し、良好なトレードオフを提供する。
• 結果として、通信複雑度に条件数 𝜅 に線形依存する性質は本質的ではないことが示され、ビット制限下で一次の最適化手法が最適であるという仮定に挑戦する。
• 実験的検証により、高速な収束性と通信量の低減が確認され、理論的主張である効率性の向上を裏付ける。