[論文レビュー] Asynchronous Subgradient-Push.

Mahmoud Assran, Michael Rabbat|arXiv (Cornell University)|Mar 23, 2018

Distributed Control Multi-Agent Systems参考文献 31被引用数 17

ひとこと要約

本稿では、複数のエージェントが局所的な凸関数の和を最小化する分散最適化アルゴリズムである Asynchronous Subgradient-Push を提案する。エージェントが非同期に動作する状況下でも、グローバル最小値の近傍に収束し、同期的に動作する場合には正確にグローバル最小値に収束する。この手法は、速度、耐障害性、スケーラビリティの面で、従来の同期的1次最適化手法を上回る性能を発揮する。

ABSTRACT

We consider a multi-agent framework for distributed optimization where each agent in the network has access to a local convex function and the collective goal is to achieve consensus on the parameters that minimize the sum of the agents' local functions. We propose an algorithm wherein each agent operates asynchronously and independently of the other agents in the network. When the local functions are strongly-convex with Lipschitz-continuous gradients, we show that a subsequence of the iterates at each agent converges to a neighbourhood of the global minimum, where the size of the neighbourhood depends on the degree of asynchrony in the multi-agent network. When the agents work at the same rate, convergence to the global minimizer is achieved. Numerical experiments demonstrate that Asynchronous Subgradient-Push can minimize the global objective faster than state-of-the-art synchronous first-order methods, is more robust to failing or stalling agents, and scales better with the network size.

研究の動機と目的

• 信頼性が低いか、変動する更新タイミングを伴うマルチエージェントネットワークにおける分散最適化の課題に対処すること。
• エージェントが独立的かつ非同期に動作しても、依然としてグローバル最小値に収束できるアルゴリズムを設計すること。
• 非同期性が収束精度に与える影響を分析し、グローバル最小値回りの近傍のサイズを定量的に評価すること。
• 速度、故障耐性、スケーラビリティの面で、既存の同期的1次最適化手法を凌駕すること。

提案手法

• 各エージェントは最適パラメータの局所的推定値を維持し、自身の局所的凸関数の部分勾配を用いてそれを更新する。
• エージェントは有向ネットワークを介して推定値を通信し、情報交換のバランスを保つためにプッシュ・サムプロトコルを用いる。
• 更新は非同期に実行され、エージェント間の調整や同期を必要としない。
• 非同期性にかかわらず収束を保証するため、徐々に小さくなるステップサイズルールを用いる。
• ネットワークトポロジーは時間変動する有向グラフとしてモデル化され、動的かつ不安定な通信を許容する。
• エージェントの更新タイミングに関する弱い仮定の下で、リャプノフ関数と確率的近似技術を用いて収束を分析する。

実験結果

リサーチクエスチョン

• RQ1 非同期性は、マルチエージェント最適化における分散部分勾配法の収束行動にどのように影響を与えるか？
• RQ2 非同期アルゴリズムはグローバル最小値に収束可能か？ もし不可能であれば、どの程度に近づけるか？
• RQ3 非同期の度合いとグローバル最小値回りの近傍サイズの間にはどのような関係があるか？
• RQ4 実際の応用において、非同期アルゴリズムは最先端の同期的1次最適化手法に比べてどの程度の性能を発揮するか？
• RQ5 大規模ネットワークにおいて、障害発生や停止するエージェントに対して、このアルゴリズムはどの程度の耐障害性を示すか？

主な発見

• 各エージェントにおける反復値の部分列は、非同期の度合いが大きいほど広がるグローバル最小値の近傍に収束する。
• エージェントが同じ速度で動作する（すなわち同期的に動作する）場合には、アルゴリズムは正確にグローバル最小値に収束する。
• 数値実験の結果、Asynchronous Subgradient-Push は、最先端の同期的1次最適化手法よりもグローバル目的関数をより速く最小化することが示された。
• 同期的代替手法に比べ、障害発生や停止するエージェントに対してより頑健であることが確認された。
• 非同期かつ分散型の性質のおかげで、ネットワークサイズの増加に伴い、スケーリングがより良好に実現される。
• 更新遅延の最大値に基づいて、収束近傍のサイズが定量的に境界づけられている。