[論文レビュー] Fast Convergence Rates of Distributed Subgradient Methods with Adaptive Quantization

Thinh T. Doan, Siva Theja Maguluri+1 more|arXiv (Cornell University)|Oct 30, 2018

Stochastic Gradient Optimization Techniques被引用数 4

ひとこと要約

本稿では、有限な通信帯域幅下で、非量子化手法と同等の収束速度を達成するための分散型勾配降下法における適応的量子化を提案する。アルゴリズムの進行に応じて量子化器の分解能を動的に調整することで、凸および強い凸な目的関数の両方において、量子化器分解能に依存する定数因子の範囲内で最適な収束速度を維持する。

ABSTRACT

We study distributed optimization problems over a network when the communication between the nodes is constrained, and so information that is exchanged between the nodes must be quantized. Recent advances using the distributed gradient algorithm with a quantization scheme at a fixed resolution have established convergence, but at rates significantly slower than when the communications are unquantized. In this paper, we introduce a novel quantization method, which we refer to as adaptive quantization, that allows us to match the convergence rates under perfect communications. Our approach adjusts the quantization scheme used by each node as the algorithm progresses: as we approach the solution, we become more certain about where the state variables are localized, and adapt the quantizer codebook accordingly. We bound the convergence rates of the proposed method as a function of the communication bandwidth, the underlying network topology, and structural properties of the constituent objective functions. In particular, we show that if the objective functions are convex or strongly convex, then using adaptive quantization does not affect the rate of convergence of the distributed subgradient methods when the communications are quantized, except for a constant that depends on the resolution of the quantizer. To the best of our knowledge, the rates achieved in this paper are better than any existing work in the literature for distributed gradient methods under finite communication bandwidths. We also provide numerical simulations that compare convergence properties of the distributed gradient methods with and without quantization for solving distributed regression problems for both quadratic and absolute loss functions.

研究の動機と目的

• 帯域制限のあるネットワークにおける通信の量子化による性能劣化を解消すること。
• 先行研究における固定分解能量子化方式の遅い収束を克服すること。
• アルゴリズムの進行に応じて適応的に変化する量子化戦略を設計し、収束速度を維持すること。
• 適応的量子化下での凸および強い凸な目的関数に対する理論的収束境界を確立すること。
• シミュレーションにより、8ビットの適応的量子化が非量子化通信とほぼ同一の性能を達成することを示すこと。

提案手法

• 各反復で量子化誤差を明示的に考慮するように変更された分散型勾配降下アルゴリズムを導入する。
• 現在のステップサイズと推定された解の局在化に基づき、各反復でコードブックを調整する適応的量子化方式を設計する。
• ネットワークの接続性を保証し、スペクトルギャップ条件を満たすために、ラジオメトロポリス行列を用いる。
• 解に近づくに従い量子化間隔を小さくすることで、関心領域での分解能を向上させる量子化ルールを適用する。
• スペクトルギャップ $1 - \rho_2$ と量子化器分解能 $\triangle$ を用いて、収束速度の理論的境界を導出する。
• 減少するステップサイズを用いた部分勾配降下と、連結ネットワーク上の平均合意による手法を組み合わせ、収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 適応的量子化は、量子化済みと非量子化の分散型勾配降下法の間の性能格差を解消できるか？
• RQ2 有限な通信帯域幅下で適応的量子化を用いた場合の収束速度はどの程度達成可能か？
• RQ3 量子化器分解能の選択が収束速度と最終的精度に与える影響は何か？
• RQ4 量子化下でも分散型勾配降下法の収束速度を非量子化ケースと同等に維持できるか？
• RQ5 適応的量子化は、固定分解能またはランダム量子化と比較して、収束速度と安定性の面で優れているか？

主な発見

• 凸な目的関数の場合、収束速度は $ f(\textbf{z}_i(k)) - f^* \triangleq \frac{\triangle^2}{(1 - \rho_2)^2} \frac{\text{ln } k}{\text{sqrt}(k)} $ で抑えられ、非量子化DSGと定数因子の範囲内で一致する。
• 強い凸な目的関数の場合、収束速度は $ \text{||}\textbf{z}_i(k) - \textbf{x}^*\text{||}^2 \triangleq \frac{\triangle^2}{(1 - \rho_2)^2} \frac{\text{ln } k}{k} $ で抑えられ、再び非量子化DSGと定数因子の範囲内で一致する。
• 数値的シミュレーションにより、8ビットの適応的量子化が非量子化通信とほぼ同一の収束性能を達成することが示された。
• 4ビットでもアルゴリズムは効果的に収束し、反復回数は $ 1/(2^b - 1)^2 $ にほぼ比例して増加する。これは理論的上限境界と一致する。
• 適応的量子化は、無限ビットを必要とする時変動量子化や、収束が遅いランダム量子化を上回る性能を示した。
• 提案手法は、最適な収束速度と有限ビット通信の両方を達成しており、先行手法が一方を犠牲にしていたのとは対照的である。