[論文レビュー] The Impact of Communication Delays on Distributed Consensus Algorithms

Konstantinos I. Tsianos, Michael Rabbat|arXiv (Cornell University)|Jul 24, 2012

Distributed Control Multi-Agent Systems参考文献 29被引用数 13

ひとこと要約

本稿は、分散型コンSENSUSアルゴリズムにおける通信遅延の影響を分析し、固定遅延および時変遅延の両方を考慮した洗練されたモデルを提案する。このモデルは収束を保ちつつ、収束速度の低下を定量的に評価する。固定遅延下で収束速度が最大 $O(B^2)$ まで低下することを証明し、遅延下でも平均コンセンサスを達成する強健な代替手法 Push-Sum を提案する。実用的状況下では、標準的手法を上回る性能を発揮する。

ABSTRACT

We study the effect of communication delays on distributed consensus algorithms. Two ways to model delays on a network are presented. The first model assumes that each link delivers messages with a fixed (constant) amount of delay, and the second model is more realistic, allowing for i.i.d. time-varying bounded delays. In contrast to previous work studying the effects of delays on consensus algorithms, the models studied here allow for a node to receive multiple messages from the same neighbor in one iteration. The analysis of the fixed delay model shows that convergence to a consensus is guaranteed and the rate of convergence is reduced by no more than a factor O(B^2) where B is the maximum delay on any link. For the time-varying delay model we also give a convergence proof which, for row-stochastic consensus protocols, is not a trivial consequence of ergodic matrix products. In both delay models, the consensus value is no longer the average, even if the original protocol was an averaging protocol. For this reason, we propose the use of a different consensus algorithm called Push-Sum [Kempe et al. 2003]. We model delays in the Push-Sum framework and show that convergence to the average consensus is guaranteed. This suggests that Push-Sum might be a better choice from a practical standpoint.

研究の動機と目的

• 大規模システムにおける分散型コンセンサスアルゴリズムの通信遅延の影響をモデル化・分析すること。
• 固定遅延および時変遅延が収束速度とコンセンサス値に与える影響を理解するギャップを埋めること。
• 独立同分布で有界な遅延下でも、行確率的コンセンサスプロトコルの収束を証明すること—これまでは双対確率的プロトコルに限られていた非自明な拡張。
• 平均コンセンサスを遅延下でも維持できる優れた代替手法として Push-Sum アルゴリズムを提案・分析すること。
• 1回の反復で同じネイバーから複数のメッセージを受け取ることを許容する、より現実的であるよう改善された遅延モデルの形式的枠組みを提供すること。

提案手法

• リンクごとの固定遅延および独立同分布で有界な時変遅延の2つのフレームワークを用いて遅延をモデル化し、1反復あたり複数のメッセージを許容する。
• 幾何的議論を用いて、固定遅延下での収束速度低下を評価し、最大 $O(B^2)$ であることを示す。ここで $B$ は最大遅延を表す。
• 先行研究のランダム遅延モデルを、双対確率的プロトコルに限らない任意の行確率的コンセンサスプロトコル $P$ に一般化する。
• 各ノードを遅延状態ごとに複製する遅延拡張グラフモデルを導入し、Poincaré定数へのパスの寄与を分析可能にする。
• 遅延付きシステムにおけるPoincaré定数 $\widehat{K}$ の上限を導出し、$\widehat{K} \leq ZK$ を示す。ここで $Z$ は $B$、ノード次数、および $P$ のスペクトル特性に依存する。
• Push-Sum アルゴリズムを遅延モデルに適応し、標準的な平均化プロトコルとは異なり、遅延下でも正確な平均コンセンサスを達成することを証明する。

実験結果

リサーチクエスチョン

• RQ1 リンクあたり最大 $B$ イテレーションの固定通信遅延が、分散型コンセンサスアルゴリズムの収束速度にどのように影響するか？
• RQ2 独立同分布で有界な時変遅延下でも、行確率的コンセンサスプロトコルが収束を保証できるか？特に更新行列に全ゼロ行が存在する可能性がある場合でも。
• RQ3 標準的な平均化コンセンサスが遅延下で真の平均に収束しなくなるのはなぜか？この問題は是正可能か？
• RQ4 Push-Sum アルゴリズムは、固定遅延および時変遅延の両方で平均コンセンサスに収束するか？
• RQ5 遅延が収束速度に与える定量的影響は何か？また、$B$ およびネットワークトポロジーの観点からその影響を $B$ で上限づけられるか？

主な発見

• 固定遅延下では、収束速度が最大 $O(B^2)$ まで低下するが、指数的収束は保たれる。
• 時変遅延下では、任意の行確率的プロトコルに対して収束が証明され、従来のエルゴード行列積理論ではカバーされない非自明なケースが解消される。
• 標準的な平均化コンセンサスプロトコルは、遅延下でももはや真の平均に収束しなくなる。たとえ元のプロトコルが双対確率的であったとしても同様。
• Push-Sum アルゴリズムは、固定遅延および確率的遅延モデルの両方で真の平均コンセンサスに収束することが示され、実用的展開に適している。
• 遅延付きシステムのPoincaré定数は $\widehat{K} \leq ZK$ で上限づけられ、ここで $Z$ は $B$、最大ノード次数 $d_{\text{max}}$、および $P$ のスペクトル特性に依存する。$Z$ は $O(B^3)$ のオーダーで増加する。
• 解析により、Push-Sumフレームワーク内では遅延モデルを簡素化しても平均への収束が保証され、実用性が向上することが示された。