[論文レビュー] On Randomized Distributed Coordinate Descent with Quantized Updates

Mostafa El Gamal, Lifeng Lai|arXiv (Cornell University)|Sep 18, 2016

Stochastic Gradient Optimization Techniques参考文献 9被引用数 3

ひとこと要約

本稿は、有限精度通信下での凸最適化のための、ランダム化分散座標降下法の量子化版を提案する。収束を保証するための量子化誤差の大きさに関する十分条件を確立し、量子化誤差が問題パラメータおよび所望の精度に対して有界であれば、収束が保たれることを示している。

ABSTRACT

In this paper, we study the randomized distributed coordinate descent algorithm with quantized updates. In the literature, the iteration complexity of the randomized distributed coordinate descent algorithm has been characterized under the assumption that machines can exchange updates with an infinite precision. We consider a practical scenario in which the messages exchange occurs over channels with finite capacity, and hence the updates have to be quantized. We derive sufficient conditions on the quantization error such that the algorithm with quantized update still converge. We further verify our theoretical results by running an experiment, where we apply the algorithm with quantized updates to solve a linear regression problem.

研究の動機と目的

• 有限容量の通信チャネル下での分散最適化アルゴリズムの収束解析におけるギャップを埋めること。
• 制限されたチャネル容量のため勾配更新が量子化される場合に、ランダム化座標降下が収束を続けるかどうかを調査すること。
• 最適解への収束を保つために必要な量子化誤差に関する明示的な十分条件を導出すること。
• 制御された量子化レベルを用いた線形回帰問題における実験的評価を通じて、理論的知見を検証すること。

提案手法

• 有限容量のチャネルを介した量子化されたメッセージ交換を想定した分散環境に、ランダム化座標降下アルゴリズムを適応させる。
• 量子化誤差を更新方向における有界な摂動としてモデル化し、量子化分解能をΔとする。
• 強凸性とリプシッツ滑らかさのパラメータ（mおよびL）および条件数g = L/mを用いて、収束速度の上限を導出する。
• 量子化に起因する誤差蓄積を収束解析に組み込むために、修正された反復回数k^qを導入する。
• 収束速度定数C_min = 1 - 1/(g²d)を最小化するため、ステップサイズt_opt = 1/(gLd)を用いる。
• ε精度内での収束を保証する十分条件Δ ≤ (ερL²)/(2m) * (1/C_min - 1)を導出する。

実験結果

リサーチクエスチョン

• RQ1 有限容量の通信チャネルに起因する更新の量子化が行われる場合、ランダム化分散座標降下はどのような条件下で収束するか？
• RQ2 量子化誤差は分散座標降下アルゴリズムの収束速度にどのように影響するか？
• RQ3 有界な量子化誤差の下でも、アルゴリズムの収束を保てるか？ もし可能であれば、許容可能な最大誤差は何か？
• RQ4 量子化分解能、問題パラメータ（L, m, d）および収束に必要な反復回数の間にはどのような関係があるか？
• RQ5 量子化誤差は蓄積してアルゴリズムを不安定化させるか、それとも制御可能で収束を保証できるか？

主な発見

• 量子化誤差Δが(ερL²)/(2m) * (1/C_min - 1)以下に抑えられている限り、最適解への収束が保証される。ここでεは所望の精度、ρは信頼水準である。
• 収束に要する反復回数は、k^q = log(2||x₀ - x*||²/ερ)/log(1/C_min) + log(2||x₀ - x*||²)/log(1/(C_min + (ερ/2)(1 - C_min)))で上限が与えられ、これは量子化に起因する誤差を考慮している。
• Δ = 0（すなわち、量子化なし）の場合、反復回数はk = log(||x₀ - x*||²/ερ)/log(1/C_min)に簡略化され、量子化なしの場合の既知の結果と一致する。
• パワー・プラントデータセットを用いた実験結果から、Δ = 10³の場合は収束するが、Δ = 10⁵の場合は発散することが確認され、理論的上限が正当化された。
• 誤差が十分に小さい限り、量子化に対して収束が頑健であり、量子化誤差はアルゴリズムを不安定化させない。
• 導出された収束条件により、誤差が導出されたしきい値内にある限り、線形収束速度を維持することが保証される。