[論文レビュー] Stochastic Proximal Gradient Consensus Over Random Networks

Mingyi Hong, Tsung‐Hui Chang|arXiv (Cornell University)|Nov 28, 2015

Distributed Control Multi-Agent Systems参考文献 50被引用数 14

ひとこと要約

本稿では、時間変動するランダムなネットワーク上で分散凸最適化を実行するための動的確率的近接勾配協調（DySPGC）アルゴリズムを提案する。エージェントは正確な勾配または確率的勾配のいずれかを使用する。正確な勾配を使用する場合、収束速度は$Ó(1/r)$を達成し、確率的勾配を使用する場合、$Ó(1/\sqrt{r})$を達成する。これにより、EXTRA や ADMM といった代表的な既存の分散アルゴリズムと関連づけられる。

ABSTRACT

We consider solving a convex, possibly stochastic optimization problem over a randomly time-varying multi-agent network. Each agent has access to some local objective function, and it only has unbiased estimates of the gradients of the smooth component. We develop a dynamic stochastic proximal-gradient consensus (DySPGC) algorithm, with the following key features: i) it works for both the static and certain randomly time-varying networks, ii) it allows the agents to utilize either the exact or stochastic gradient information, iii) it is convergent with provable rate. In particular, we show that the proposed algorithm converges to a global optimal solution, with a rate of $\mathcal{O}(1/r)$ [resp. $\mathcal{O}(1/\sqrt{r})$] when the exact (resp. stochastic) gradient is available, where r is the iteration counter. Interestingly, the developed algorithm bridges a number of (seemingly unrelated) distributed optimization algorithms, such as the EXTRA (Shi et al. 2014), the PG-EXTRA (Shi et al. 2015), the IC/IDC-ADMM (Chang et al. 2014), and the DLM (Ling et al. 2015) and the classical distributed subgradient method. Identifying such relationship allows for significant generalization of these methods. We also discuss one such generalization which accelerates the DySPGC (hence accelerating EXTRA, PG-EXTRA, IC-ADMM).

研究の動機と目的

• 時間変動するランダムな通信トポロジーを持つマルチエージェントシステムにおける分散凸最適化を扱う。
• グローバルなネットワークの知識を必要とせず、ローカルな（おそらく確率的）勾配推定のみを用いて収束を可能にする。
• ネットワークダイナミクスおよび勾配の可用性に関する最小限の仮定の下で、保証された高速な収束速度を達成する。
• EXTRA や PG-EXTRA、ADMM の変種といった既存の分散アルゴリズムを、共通のフレームワークの下で統一・一般化する。
• 静的および特定の時間変動ネットワーク（B連結グラフを含む）に対し、収束保証を提供する。

提案手法

• 時間変動ネットワークに対応する動的協調ベースのアルゴリズムを開発し、近接勾配ステップと誤差補正項を組み合わせる。
• エージェントの状態とネットワークトポロジーに応じて適応的に変化する重み付き平均化方式を、ランダム通信グラフ上で用いる。
• 正確な勾配と確率的勾配の両条件で収束を保証する動的ステップサイズルールを導入する。
• リャプノフ解析と新規のポテンシャル関数を用いて収束を証明し、確率的部分勾配ノイズとネットワークのランダム性を統合する。
• 近接作用素の性質と勾配分散の特性を用いて、期待される最適性ギャップの上限を導出することで収束速度を導出する。
• 特定のパrameter選択の下で DySPGC が EXTRA や ADMM を一般化することを示すことにより、既知のアルゴリズムとの関連を確立する。

実験結果

リサーチクエスチョン

• RQ1 ローカルな確率的勾配情報のみを用いて、ランダムに時間変動するネットワーク上でも収束が保証される分散最適化アルゴリズムは存在するか？
• RQ2 類似設定下で、DSG や EXTRA、ADMM といった既存手法と比較して、提案手法の収束速度はどのように異なるか？
• RQ3 ネットワークトポロジーのランダム性およびエージェントの通信パターンが、分散アルゴリズムの収束挙動に与える影響は何か？
• RQ4 EXTRA や PG-EXTRA、ADMM の変種といった一見異なる分散アルゴリズムを、一つのフレームワークで統一できるか？
• RQ5 ステップサイズ、ネットワーク接続性、勾配推定の条件を満たすと、非漸近的収束速度でグローバル収束が保証されるための条件は何か？

主な発見

• 正確な勾配が使用される場合、DySPGC アルゴリズムは$Ó(1/r)$の収束速度でグローバル最適解に収束する。
• 確率的勾配を使用する場合、収束速度は$Ó(1/\sqrt{r})$を達成し、確率的部分勾配法の既知の下界と一致する。
• 静的ネットワークおよび特定の時間変動ネットワーク（B連結グラフを含む）において、アルゴリズムは保証された収束性を示す。
• 収束解析により、DySPGC と EXTRA や PG-EXTRA、不正確な ADMM 変種といった代表的な分散アルゴリズムとの理論的関連が確立される。
• 確率的勾配下では、期待される最適性ギャップが$\mathcal{O}(1/\sqrt{r})$の速度で減少し、勾配ノイズ分散に明示的な依存関係を示す。
• エージェントがバイアスのない確率的勾配推定のみにアクセスできる場合でも、アルゴリズムは収束を維持するため、大規模な機械学習や信号処理応用に適している。