[論文レビュー] Achieving Linear Convergence in Distributed Asynchronous Multi-agent Optimization

Ye Tian, Ying Sun+1 more|arXiv (Cornell University)|Mar 28, 2018

Distributed Control Multi-Agent Systems参考文献 52被引用数 16

ひとこと要約

本稿では、任意で有界な時変遅延および非協調的でないエージェント更新のもとで、強い凸問題に対してR線形（幾何的）収束を達成する分散非同期マルチエージェント最適化アルゴリズムを提案する。本稿は、遅延した情報を利用して平均勾配を推定する耐障害性の高い勾配追跡メカニズムを導入し、同期化や遅延に関する知識が不要であるにもかかわらず収束を実現しており、この一般非同期設定において、理論的線形収束を保証する最初のアルゴリズムである。

ABSTRACT

This papers studies multi-agent (convex and \emph{nonconvex}) optimization over static digraphs. We propose a general distributed \emph{asynchronous} algorithmic framework whereby i) agents can update their local variables as well as communicate with their neighbors at any time, without any form of coordination; and ii) they can perform their local computations using (possibly) delayed, out-of-sync information from the other agents. Delays need not be known to the agent or obey any specific profile, and can also be time-varying (but bounded). The algorithm builds on a tracking mechanism that is robust against asynchrony (in the above sense), whose goal is to estimate locally the average of agents' gradients. When applied to strongly convex functions, we prove that it converges at an R-linear (geometric) rate as long as the step-size is {sufficiently small}. A sublinear convergence rate is proved, when nonconvex problems and/or diminishing, {\it uncoordinated} step-sizes are considered. To the best of our knowledge, this is the first distributed algorithm with provable geometric convergence rate in such a general asynchronous setting. Preliminary numerical results demonstrate the efficacy of the proposed algorithm and validate our theoretical findings.

研究の動機と目的

• 同期化や中央集権的スケジューリングがなく、静的で有向グラフ上を動作するマルチエージェントシステムのための分散最適化アルゴリズムを設計すること。
• 通信および計算における任意で有界な時変遅延が生じる状況でも、エージェントが古くなった情報を使用する場合でも収束を可能にすること。
• 非同期および遅延情報が存在する中で、強い凸問題に対してR線形収束レートを達成すること。
• 減少する非協調的ステップサイズの下で、非凸問題に対して部分線形収束を達成するようにフレームワークを拡張すること。
• 遅延プロファイルやアクティベーションパターンに関する最小限の仮定で、並列的かつ非同期的な更新をサポートする統一されたアルゴリズムフレームワークを提供すること。

提案手法

• アルゴリズムは、隣接エージェントからの非同期的で遅延のある情報を利用して、エージェントの勾配の平均を推定する分散勾配追跡メカニズムを採用する。
• 情報のネットワーク全体への伝播を保証するため、重み付き混合行列を用いる。これにより、任意の遅延が存在する場合でも収束が保証される。
• 本手法は、有界な遅延と行列要素の下限を活用することで、非同期性に対して耐性を持つ、画期的な追跡メカニズムを導入する。
• アルゴリズムは非協調的で減少するステップサイズで動作し、遅延プロファイルや同期化の知識を必要としない。
• 重要な構成要素として、各エージェントの情報の影響が時間経過に伴い一様に下限され続けるように、確率的ベクトルの系列を構築する。
• 理論的分析は、時間間隔ごとの追跡誤差を収縮の議論によってバインドすることで行われ、強い凸性のもとで線形収束が導かれる。

実験結果

リサーチクエスチョン

• RQ1 エージェントが古くなった情報を使用し、非同期に更新する状況下でも、分散非同期アルゴリズムが強い凸問題に対してR線形収束を達成できるか？
• RQ2 遅延に関する知識や同期化が不要な状況でも、任意で有界な時変遅延の下で線形収束を達成できる分散アルゴリズムを設計可能か？
• RQ3 有向通信グラフを持つマルチエージェントシステムにおいて、勾配追跡を非同期性に対して耐性を持つようにどのように設計できるか？
• RQ4 ステップサイズおよびネットワーク構造にどのような条件を課すと、非凸設定において正確な解へのグローバル収束が保証されるか？
• RQ5 提案されたフレームワークは、非協調的かつ並列的な更新をサポートしながらも、収束保証を維持できるか？

主な発見

• 提案されたアルゴリズムは、ステップサイズが十分に小さい限り、任意で有界な時変遅延が存在する状況下でも、強い凸問題に対してR線形収束を達成する。
• 非凸問題では、減少する非協調的ステップサイズを用いる場合、部分線形収束が達成される。
• 本アルゴリズムは、最も一般化された非同期モデル（非協調的更新、任意の遅延、同期化や遅延知識なし）の下で、理論的に収束することが保証されている。
• 勾配追跡メカニズムにより、古くなった情報が存在する中でも、平均勾配の推定値が有界かつ正確に保たれる。
• 理論的分析により、各エージェントの情報の影響が時間経過に伴い一様に下限され、収束が可能であることが証明された。
• 数値結果によって検証されたように、本アルゴリズムは、このような一般非同期設定において、理論的幾何的収束レートを保証する最初の分散非同期手法である。