[論文レビュー] Quantized Distributed Gradient Tracking Algorithm with Linear Convergence in Directed Networks

Yongyang Xiong, Ligang Wu+2 more|arXiv (Cornell University)|Apr 8, 2021

Distributed Control Multi-Agent Systems参考文献 26被引用数 6

ひとこと要約

本稿では、有向ネットワークにおいて、たった3レベルの量子化でも線形収束を達成できる、新しい量子化分散勾配トラッキングアルゴリズム（Q-DGT）を提案する。量子化ルールとトラッキング誤差ダイナミクスを丁寧に設計することで、飽和を回避し、最適解への正確な収束を保証する。これは、従来の量子化手法が典型的に示す部分線形収束とは対照的である。

ABSTRACT

Communication efficiency is a major bottleneck in the applications of distributed networks. To address the problem, the problem of quantized distributed optimization has attracted a lot of attention. However, most of the existing quantized distributed optimization algorithms can only converge sublinearly. To achieve linear convergence, this paper proposes a novel quantized distributed gradient tracking algorithm (Q-DGT) to minimize a finite sum of local objective functions over directed networks. Moreover, we explicitly derive the update rule for the number of quantization levels, and prove that Q-DGT can converge linearly even when the exchanged variables are respectively one bit. Numerical results also confirm the efficiency of the proposed algorithm.

研究の動機と目的

• 有向ネットワークにおける分散最適化の通信効率のボトルネックを解決すること。
• 大多数の既存手法が部分線形収束しか達成できないのとは異なり、線形収束を達成する量子化分散アルゴリズムを開発すること。
• 飽和を防ぎ、収束を保証するために必要な最小量子化レベル数を明示的に特定すること。
• 有限精度通信下での有向ネットワークへの線形収束保証を拡張すること。これは、非対称なネットワークトポロジーのため、大きな課題である。

提案手法

• 量子化下での意思決定変数とトラッキング変数の両方を最適化する新しい量子化分散勾配トラッキングアルゴリズム（Q-DGT）を提案する。
• 各ノードの誤差が[-0.5, 0.5]の範囲に保たれるようにすることで、飽和を防ぎ、有界な量子化誤差を維持する、画期的な量子化ルールを導入する。
• 2段階更新メカニズムを採用：勾配トラッキングに量子化情報交換を組み込み、各イテレーションで意思決定変数とトラッキング変数の両方が量子化される。
• 再帰的誤差バウンド解析を用いて、量子化誤差の上界を導出し、時間経過に伴う非飽和性を保証する。
• 適切な量子化器設計のもとで、誤差ノルムが1より小さい収縮係数で線形に減少することを証明することで収束を確立する。
• 量子化レベル数の明示的下限を導出し、提案された設計のもとで3レベルの量子化でも線形収束が十分に可能であることを示す。

実験結果

リサーチクエスチョン

• RQ1 意思決定変数とトラッキング変数の両方が有限レベルの量子化を受ける場合、有向ネットワークにおいて分散最適化アルゴリズムが線形収束を達成できるか。
• RQ2 このような設定において、飽和を防ぎ、収束を保証するために必要な最小量子化レベル数は何か。
• RQ3 非対称な有向ネットワークにおいて、量子化誤差をどのように有界化・制御すれば、線形収束を維持できるか。
• RQ4 有向ネットワークにおいて、1ビットまたは3レベルの量子化のみを用いても、グローバル最適解への正確な収束を維持できるか。
• RQ5 提案されたアルゴリズムは、非対称な有向グラフの特性をどのように処理し、量子化下でも線形収束を保証するか。

主な発見

• 提案されたQ-DGTアルゴリズムは、意思決定変数とトラッキング変数の両方がたった3レベルの量子化であっても、有向ネットワークで線形収束を達成する。
• アルゴリズムは、すべてのノードについて量子化誤差が[-0.5, 0.5]の範囲に保たれるように設計されているため、すべてのイテレーションで量子化器の飽和が回避される。
• 量子化レベル数の明示的下限が導出され、提案された設計のもとで3レベルの量子化が線形収束に十分であることが示された。
• 収束速度は線形であり、誤差ノルムが各イテレーションで幾何的に減少する。これは再帰的誤差バウンド解析によって証明された。
• 数値結果により、Q-DGTの効率性とロバスト性が確認され、理論的予測である収束性と量子化耐性が妥当であることが検証された。
• アルゴリズムは二重トラッキング機構を組み込むことで、非対称な有向ネットワークを効果的に処理し、非対称な遷移行列の影響を排除した。