[論文レビュー] Newton-Raphson Consensus under asynchronous and lossy communications for peer-to-peer networks

Nicoletta Bof, Ruggero Carli+3 more|arXiv (Cornell University)|Jul 28, 2017

Distributed Control Multi-Agent Systems参考文献 30被引用数 12

ひとこと要約

本稿は、非同期的かつパケット損失を伴う通信を有するピアツーピアネットワークにおける分散凸最適化のためのニュートン・ラプソン共分散アルゴリズムを提案する。パケット損失に強く耐性を持つブロードキャストベースの平均共分散方式を統合することで、恒常的なエージェント活性化および連続する通信障害が有限であるというやや緩い条件下でも、グローバル最適解への局所的指数的安定性を達成する。

ABSTRACT

In this work we study the problem of unconstrained convex-optimization in a fully distributed multi-agent setting which includes asynchronous computation and lossy communication. In particular, we extend a recently proposed algorithm named Newton-Raphson Consensus by integrating it with a broadcast-based average consensus algorithm which is robust to packet losses. We show via the separation of time scales principle that under mild conditions (i.e., persistency of the agents activation and bounded consecutive communication failures) the proposed algorithm is proved to be locally exponentially stable with respect to the optimal global solution. Finally, we complement the theoretical analysis with numerical simulations that are based on real datasets.

研究の動機と目的

• 信頼性の低い非同期通信を伴う現実世界のネットワークにおける分散凸最適化の課題に対処すること。
• 同期的な更新や信頼性の高い通信を必要とする従来の部分勾配法およびADMM法の限界を克服すること。
• 損失のあるリンクを有する完全に分散化されたピアツーピア環境において、ニュートン・ラプソン方向による2次最適化を可能とすること。
• 間欠的接続性や変動する遅延といった実用的なネットワーク条件の下でも、グローバル最適解への収束を保証すること。
• 時間スケール分離とロバスト共分散機構を用いて、理論的安定性保証を確立すること。

提案手法

• パケット損失に強いとされるブロードキャストベースの平均共分散アルゴリズムとニュートン・ラプソン方向の計算を統合する。
• 2段階の時間スケールアプローチを採用：内側の高速ループでヘシアンと勾配の共分散平均化を実行し、外側の遅いループで局所変数の更新を行う。
• システムを離散時間非線形系としてモデル化し、2つの状態（主変数 x と補助共分散状態 ξ）を定義する。
• 時間スケール分離の原則を適用して動的システムを分離し、内側ダイナミクスを固定した状態での外側ループの安定性を解析する。
• x を固定した場合に共分散部分系（ξ）が指数的安定であることを利用し、内側ループが安定な軌道に収束することを保証する。
• 外側ダイナミクスのヤコビアンに関する条件を検証し、ヘシアン近似の有界性を確認することで、グローバル最適解の局所的指数的安定性を証明する。

実験結果

リサーチクエスチョン

• RQ1 ピアツーピアネットワークにおける非同期的かつ損失のある通信を想定したニュートン・ラプソンに基づく分散最適化は、どのようにして耐障害性を確保できるか？
• RQ2 損失のある共分散と組み合わせたニュートン・ラプソンステップは、どのような条件下でグローバル最適解に収束するか？
• RQ3 時間スケール分離は、結合的かつ非同期的なダイナミクスを持つシステムにおいて安定性をどのように保証できるか？
• RQ4 収束を保証するために必要なエージェント活性化および通信信頼性に関する仮定は何か？
• RQ5 グローバル同期を必要としない損失のある分散環境において、2次最適化法は1次最適化法よりも高速に収束できるか？

主な発見

• 提案手法は、恒常的なエージェント活性化および有限回の連続通信障害というやや緩い条件下でも、グローバル最適解に対する局所的指数的安定性を達成する。
• 収束速度は指数的であり、十分に小さい ε に対して、‖x(k)−x*‖ ≤ Cλ^k‖x(0)−x*‖ を満たす。ここで 0 < λ < 1 かつ C > 0 である。
• 安定性解析は、時間スケール分離に依拠しており、主変数（x）を固定した場合に共分散部分系（ξ）が指数的に速く収束することを根拠としている。
• パケット損失に対してロバストである。平均共分散部は再送信やアックノリージメントを必要とせず、欠落データに対処できるように設計されている。
• 実データセットを用いた数値シミュレーションにより理論的結果が検証され、高いリンク損失率下でも高速な収束が確認された。
• 完全に分散化され、非同期的かつ信頼性の低いネットワーク環境下でも、本手法は2次収束特性を維持し、1次最適化法を上回る収束速度を達成した。