[論文レビュー] Rate of Convergence for Distributed Optimization with Uncertain Communications

Pouya Rezaeinia, Bahman Gharesifard|arXiv (Cornell University)|Mar 23, 2020

Distributed Control Multi-Agent Systems参考文献 17被引用数 6

ひとこと要約

本稿は、確率的で方向性を持つ通信グラフ上での分散最適化のための修正プッシュサムアルゴリズムを提案し、このような確率的設定において初めてO(1/√t)の収束速度の上限を確立している。不確実で時間変動するネットワーク構造の下での収束速度を分析し、行列積の確率的バウンドと摂動制御を用いて、確率的収束を証明するとともに、明示的な誤差減少率を示している。

ABSTRACT

We consider the distributed optimization problem for the sum of convex functions where the underlying communications network connecting agents at each time is drawn at random from a collection of directed graphs. Building on an earlier work [15], where a modified version of the subgradient-push algorithm is shown to be almost surely convergent to an optimizer on sequences of random directed graphs, we find an upper bound of the order of $\sim O(\frac{1}{\sqrt{t}})$ on the convergence rate of our proposed algorithm, establishing the first convergence bound in such random settings.

研究の動機と目的

• 既存の研究におけるギャップを埋めるために、確率的通信グラフ上での分散最適化の収束速度の上限を確立すること。
• 通信トポロジーが時間変動し、確率的に選択される確率的ネットワーク設定において、修正プッシュサムアルゴリズムの収束速度を分析すること。
• 有界な摂動の下で、収束誤差の明示的な上界を導出し、それがO(1/√t)の速度で減少することを示すこと。
• 通信リンクに不確実性があり、動的に変化する状況下での分散勾配降下法の収束速度に関する理論的保証を提供すること。

提案手法

• 本稿は、各エージェントが値推定と重み推定という2つの状態変数を維持する修正プッシュサムアルゴリズム（MPP）を採用し、局所平均化と正規化により更新を行う。
• 各時刻における通信ネットワークを、確率的な有向グラフとしてモデル化し、隣接行列W(t)が利用可能なリンクと重みを表す。
• 収束解析は、時間経過に伴う影響の減衰を捉える量Λt,sを用いた、確率的列確率行列積のバウンドに依存している。
• Λt,sの確率的尾部バウンドを導入し、P(Λt,s > 2λ^{t−s}) ≤ 13e^{−c₁(t−s)}およびE[Λt,s] ≤ 15λ^{t−s}を示しており、λ ∈ (0,1)はネットワークサイズと接続性に依存する。
• 有界な摂動‖ε(t)‖₁ ≤ U/t^γを仮定し、推定値の時間平均に調和的重みα(k+1) = 1/(k+1)^γを用いる。
• 期待値と積分比較を用いた重要な誤差バウンドを導出し、γ = 1/2の下でO(1/√t)の収束速度が得られることを示している。

実験結果

リサーチクエスチョン

• RQ1 通信グラフが各時刻ごとに確率的に選択される状況下で、分散最適化アルゴリズムの収束速度は何か？
• RQ2 修正プッシュサムアルゴリズムは、このような確率的かつ不確実な通信パターン下でも、証明可能な収束速度保証を達成できるか？
• RQ3 ランダムなネットワーク実現が収束速度に与える影響は何か？ これは、行列積の確率的バウンドによって定量的に評価可能か？
• RQ4 摂動とネットワーク接続性にどのような条件下で、特定の収束速度（例：O(1/√t)）が保証されるか？

主な発見

• 本稿は、確率的有向通信グラフ上での分散最適化に対して、初めてO(1/√t)の収束速度の上限を確立した。
• 平均状態推定値の期待誤差はO(1/√t)で減少し、そのバウンドは初期状態ノルム、摂動の大きさ、およびネットワークパラメータに依存する。
• 解析により、確率的列確率行列積が期待値において指数的に減少することが示され、E[Λt,s] ≤ 15λ^{t−s}かつλ < 1（ネットワークサイズと接続性に依存）である。
• 摂動が‖ε(t)‖₁ ≤ U/t^γで有界である場合、γ = 1/2の下で収束速度がO(1/√t)に達し、平均化重みの調和的減衰と一致する。
• バウンドは積分比較と確率的尾部推定を用いて導出され、時間経過にわたる重み付き平均誤差の期待値が有限であることが示された。
• この結果により、アルゴリズムのほとんど確実な収束が確認されるとともに、定量的な収束速度が得られ、確率的ネットワーク最適化に関する先行研究における欠落していた要素が解決された。