[論文レビュー] On Distributed Averaging Algorithms and Quantization Effects

Angelia Nedić, Alex Olshevsky+2 more|ArXiv.org|Nov 27, 2007

Distributed Control Multi-Agent Systems参考文献 15被引用数 28

ひとこと要約

本稿は、時間変動するネットワーク上の分散平均化アルゴリズムを研究し、非量子化通信におけるタイトな多項式的収束時間バウンドを提示する。量子化された状況では、丸め下げ方式を導入し、誤差が $ O(1/Q) $ で有界であることを保証し、収束時間が $ O((n^2/ au) au(nQ)) $ にスケーリングされることを示した。また、$ n \to \infty $ のとき、定数より小さい誤差を達成するには $ \Omega(\log n) $ ビットが必要であることを示した。

ABSTRACT

We consider distributed iterative algorithms for the averaging problem over time-varying topologies. Our focus is on the convergence time of such algorithms when complete (unquantized) information is available, and on the degradation of performance when only quantized information is available. We study a large and natural class of averaging algorithms, which includes the vast majority of algorithms proposed to date, and provide tight polynomial bounds on their convergence time. We also describe an algorithm within this class whose convergence time is the best among currently available averaging algorithms for time-varying topologies. We then propose and analyze distributed averaging algorithms under the additional constraint that agents can only store and communicate quantized information, so that they can only converge to the average of the initial values of the agents within some error. We establish bounds on the error and tight bounds on the convergence time, as a function of the number of quantization levels.

研究の動機と目的

• 時間変動するトポロジーにおける分散平均化アルゴリズムの収束時間バウンドがタイトでないという問題に対処する。
• エージェントが離散値しか格納・送信できないという制限がある分散平均化における、量子化通信による性能劣化を分析する。
• 量子化に起因するコンセンサス誤差のバウンドを確立し、量子化レベルと収束速度のトレードオフを特徴付ける。
• 真の平均値からの制御可能な誤差内で共通値に収束することを保証する量子化アルゴリズムを提供する。
• ネットワークサイズが増大する際、無視できるコンセンサス誤差を達成するために必要な最小の量子化レベル（ビット数）を特定する。

提案手法

• 本稿は、非対称かつ双方向確率的重み行列を許容する一般クラスの分散平均化アルゴリズムを分析し、収束時間のバウンドにリャプノフ関数を用いる。
• 三ホップの近隣情報を利用した動的重み選択ルールを導入し、双方向接続性の仮定のもとで収束時間を $ O(n^2) $ に改善する。
• 量子化通信のため、連続値を最も近い量子化レベルにマップする丸め下げ量子化器を用い、正確な平均値の保存が失われても共通値への収束を保証する。
• 量子化下での収束を分析するために、変更されたリャプノフ関数を用い、エージェントの値の変化を追跡し、コンセンサスに至るまでの反復回数のバウンドを求める。
• 各反復におけるリャプノフ関数の最悪ケースでの減少量を考慮し、量子化誤差と量子化レベル数 $ Q $ の影響を組み込む。
• コンセンサス誤差の下限および上限バウンドを導出し、誤差が $ O(1/Q) $ に減少することを示す。バウンドは $ n $、$ \eta $、初期値の動的範囲に依存する。

実験結果

リサーチクエスチョン

• RQ1 時間変動するトポロジーにおける一般クラスの分散平均化アルゴリズムについて、非量子化通信下での収束時間バウンドとして最もタイトなものは何か？
• RQ2 量子化は分散平均化アルゴリズムの収束時間とコンセンサス誤差にどのように影響するか？
• RQ3 ネットワークサイズ $ n $ が増大する際、コンセンサス誤差が小さくなるようにするには、最小でどの程度の量子化レベル（またはビット数）が必要か？
• RQ4 時間変動するトポロジー下で、既存の手法よりも高速な収束を達成できる分散アルゴリズムを設計できるか？
• RQ5 量子化レベル数と最終的なコンセンサス値の正確性との間の根本的トレードオフは何か？

主な発見

• 非量子化分散平均化アルゴリズムの収束時間は $ O(n^2 / \eta) $ でバウンドされ、これはタイトであり、$ \eta = \Theta(1/n) $ のとき、従来の $ O(n^3) $ バウンドを改善する。
• 三ホップ情報を利用した動的重み選択アルゴリズムでは、収束時間が $ O(n^2) $ に抑えられ、静的トポロジーにおける最良の既知のバウンドと一致する。
• 量子化レベル $ Q $ での通信下では、アルゴリズムは $ O((n^2 / \eta) \log(nQ)) $ 回の反復で共通値に収束し、誤差は $ O(1/Q) $ で有界である。
• コンセンサス誤差は $ c \cdot (n^2 / \eta) \cdot B \cdot \log(Qn(U-L)) / Q $ 以下であり、$ Q $ が増加するにつれて誤差が $ 1/Q $ に比例して減少することが示された。
• $ n \to \infty $ のとき、コンセンサス誤差を無視できるほど小さくするために、$ \Omega(\log n) $ ビットの下限がエージェントあたり必要である。$ B $、$ 1/\eta $、$ U-L $ が多項式的に増大する場合でも同様である。
• 0にいる $ n/2 $ 個のノードと1にいる $ n/2 $ 個のノードを持つ例では、$ Q < n/2 $ の場合、最終的なコンセンサス値が真の平均値から $ 1/2 $ 離れる可能性がある。これは、$ \Omega(\log n) $ ビットがサブ定数誤差を達成するために必要であることを示している。