[論文レビュー] Nested Distributed Gradient Methods with Adaptive Quantized Communication

Albert S. Berahas, Charikleia Iakovidou+1 more|arXiv (Cornell University)|Mar 18, 2019

Distributed Control Multi-Agent Systems参考文献 42被引用数 7

ひとこと要約

本稿では、リソース制約のあるネットワークにおける局所凸関数の和を最小化するための、適応的量子化通信を備えたネスト型分散勾配法であるNEAR-DGD+Qを提案する。動的かつ精度を高める量子化と、協調ステップを組み合わせることで、量子化誤差と協調誤差をバランスさせることで、正確な解へのR線形収束を達成し、通信コストを削減しながらも精度を損なわない。

ABSTRACT

In this paper, we consider minimizing a sum of local convex objective functions in a distributed setting, where communication can be costly. We propose and analyze a class of nested distributed gradient methods with adaptive quantized communication (NEAR-DGD+Q). We show the effect of performing multiple quantized communication steps on the rate of convergence and on the size of the neighborhood of convergence, and prove R-Linear convergence to the exact solution with increasing number of consensus steps and adaptive quantization. We test the performance of the method, as well as some practical variants, on quadratic functions, and show the effects of multiple quantized communication steps in terms of iterations/gradient evaluations, communication and cost.

研究の動機と目的

• 高コストで帯域制限のある通信条件下でも収束精度を維持する分散最適化アルゴリズムの設計。
• 複数回の量子化された協調ステップが収束速度および近隣ノードのサイズに与える影響の分析。
• 量子化誤差と協調誤差のバランスを取る適応的量子化戦略の開発。
• 強い凸性の設定において固定ステップサイズを用いて正確なR線形収束を達成すること。
• 帯域幅および計算コストが変化する条件下での反復回数、通信コスト、計算コストの性能トレードオフの評価。

提案手法

• 本手法は、交互に勾配ステップと協調ステップを実行するネスト構造を採用し、各エージェントが局所的勾配更新の後、隣接エージェントと量子化された情報を交換する。
• 通信は、事前に定義されたスケジュールに従い、時間の経過とともに送信する有効数字の桁数を増やす適応的量子化スキームを用いて量子化される。
• 分散問題の協調に基づく再定式化を用いて解析を行い、エージェント間での合意形成を保証するための対称的かつ双確率的行列Wを用いる。
• 収束解析により、協調ステップ数を増加させるとともに量子化を適応的に精錬することで、正確な解へのR線形収束が証明される。
• 通信と計算のトレードオフを評価するため、異なるネットワークトポロジー、量子化方式、コストパラメータを用いた二次関数上での実験が実施される。
• 通信コストと計算コストの応用固有の重みを組み合わせたコストモデルが使用され、送信された桁数と勾配評価回数が重み付けられる。

実験結果

リサーチクエスチョン

• RQ1 分散勾配法において、複数回の量子化された協調ステップを実行することは、収束速度および近隣ノードのサイズにどのように影響するか？
• RQ2 有限の通信帯域幅下でも、適応的量子化を用いて正確なR線形収束を達成できるか？
• RQ3 量子化通信を伴う分散最適化において、通信コスト（送信された桁数）と計算コスト（勾配評価回数）のトレードオフは何か？
• RQ4 収束速度および精度の観点から、適応的量子化は固定精度量子化よりも優れているか？
• RQ5 量子化誤差と協調誤差をバランスさせることで、解の品質を損なわず通信負荷を低減できるか？

主な発見

• NEAR-DGD+Qは、協調ステップ数を増加させるとともに量子化を適応的に精錬することで、正確な解へのR線形収束を達成する。
• 適応的量子化により、通信が高コストな状況でも、未量子化バージョンと同等の精度に到達しながら、送信する有効数字の桁数を削減できる。
• $ c_c = 10^4 $ の場合、適応的量子化バージョンは未量子化バージョンを上回る総コスト性能を示し、通信の節約が確認された。
• 通信が安価な場合（$ c_c = 10^{-4} $）、計算コストが支配的になるため、適応的量子化の恩恵は限定的である。
• $ k $-番目の反復で協調ステップ数を倍増させる手法（NEAR-DGD$^+$(1,1,50)）は、未量子化バージョンとほぼ同等の性能を示しながらも、通信負荷を低減した。
• 固定精度量子化では、解の近傍に収束するが、その近傍のサイズは送信された桁数に反比例する。