[論文レビュー] Broadcast gossip averaging algorithms: interference and asymptotical error in large networks

Paolo Frasca, Fabio Fagnani|arXiv (Cornell University)|May 7, 2010

Distributed Control Multi-Agent Systems参考文献 19被引用数 5

ひとこと要約

本稿は、大規模ネットワークにおける分散平均計算のための、干渉に強いブロードキャストギャッジングアルゴリズムを提案し、収束速度と漸近的誤差を分析する。局所的に接続されたグラフでは、このアルゴリズムは漸近的に不偏推定を達成し、高速な収束を示すが、完全グラフではサイズが増大してもバイアスが持続することが示された。

ABSTRACT

In this paper we study two related iterative randomized algorithms for distributed computation of averages. The first one is the recently proposed Broadcast Gossip Algorithm, in which at each iteration one randomly selected node broadcasts its own state to its neighbors. The second algorithm is a novel de-synchronized version of the previous one, in which at each iteration every node is allowed to broadcast, with a given probability: hence this algorithm is affected by interference among messages. Both algorithms are proved to converge, and their performance is evaluated in terms of rate of convergence and asymptotical error: focusing on the behavior for large networks, we highlight the role of topology and design parameters on the performance. Namely, we show that on fully-connected graphs the rate is bounded away from one, whereas the asymptotical error is bounded away from zero. On the contrary, on a wide class of locally-connected graphs, the rate goes to one and the asymptotical error goes to zero, as the size of the network grows larger.

研究の動機と目的

• 干渉を伴う大規模ネットワークにおけるブロードキャストギャッジングアルゴリズムの性能を分析すること。
• 確率的分散平均化における収束速度と漸近的推定誤差のトレードオフを評価すること。
• 特に局所的接続性とグローバル接続性の違いが、アルゴリズムのバイアスと収束速度に与える影響を調査すること。
• 非同期化され、干渉に強いブロードキャストギャッジングアルゴリズムの変種を提案し、その性能を検討すること。
• アーベル・カイリー・グラフという対称的ネットワーク構造下での収束速度と漸近的誤差の理論的境界を確立すること。

提案手法

• ノードの値の状態空間上でのマルコフ連鎖としてブロードキャストギャッジングプロセスをモデル化し、平均二乗誤差分析を用いる。
• アーベル・カイリー・グラフの対称性を活用して、アルゴリズムの遷移行列のスペクトル解析を実施する。
• システムのラプラシアンに類似した作用素の固有値を導出し、収束速度と漸近的誤差を特徴付ける。
• 非同期ブロードキャストモデルにおけるメッセージ衝突を考慮するための摂動モデルを導入する。
• ネットワークサイズNに関する漸近的展開を用いて、収束速度と誤差の主要項の挙動を導出する。
• リンググラフ上で数値シミュレーションを実施し、パラメータp（ブロードキャスト確率）とq（干渉確率）を変化させることで理論的結果を検証する。

実験結果

リサーチクエスチョン

• RQ1 同時に発信されるブロードキャストによる干渉が、ブロードキャストギャッジングアルゴリズムの収束速度と漸近的誤差に与える影響は何か？
• RQ2 特に局所的接続性と完全接続性の違いが、アルゴリズムの漸近的バイアスに与える影響は何か？
• RQ3 収束速度を漸近的誤差とは独立に最適化できるか？ もしそうなら、どのような条件下で可能か？
• RQ4 ブロードキャスト確率pの選択が、大規模ネットワークにおける速度と精度のトレードオフに与える影響は何か？
• RQ5 ネットワークサイズが増大する際、漸近的誤差は消滅するのか？ その場合、どのようなトポロジー的仮定が必要か？

主な発見

• 有界な次数を持つ局所的に接続されたグラフでは、元のアルゴリズムおよび干渉に強いブロードキャストギャッジングアルゴリズムの両方において、ネットワークサイズNの増大に伴い漸近的誤差が0に収束する。
• 完全グラフでは、漸近的誤差が0から離れた有界な値を保ち続けるため、大規模極限においてもバイアスが持続することが示された。
• 干渉に強いアルゴリズムの収束速度は、1ラウンドあたりの有効なアクティブノード数が多いため、元のブロードキャストギャッジングアルゴリズムよりも1オーダー速い。
• 最適なブロードキャスト確率p* = 1/3が、収束速度のネットワークサイズ依存性を最小化し、収束率R = 1 - Θ(N⁻²)を達成する。
• 漸近的誤差はpの選択に対してほとんど感度を示さないため、精度を損なわずに最適な収束速度を得るためにpをp* = 1/3に設定できる。
• 大規模Nにおいて、干渉による摂動は収束速度にほとんど影響を及ぼさない。両方のシステム（元のシステムと干渉影響を受けるシステム）が同じ漸近的収束速度スケーリングを示すためである。