[論文レビュー] On the Convergence of a Multi-Agent Projected Stochastic Gradient Algorithm

Pascal Bianchi, Jérémie Jakubowicz|arXiv (Cornell University)|Jul 13, 2011

Distributed Control Multi-Agent Systems参考文献 36被引用数 8

ひとこと要約

本稿では、二重確率的gossip行列を必要としない非凸最適化の分散型、マルチエージェント確率的勾配アルゴリズムを提案する。減少するステップサイズを用いることで、漸近的合意形成とKarush-Kuhn-Tucker点への収束を達成し、通信コストを最小限に抑えつつ、ブロードキャストのみのネットワークにおけるエネルギー効率の良い運用を可能にする。

ABSTRACT

We introduce a new framework for the convergence analysis of a class of distributed constrained non-convex optimization algorithms in multi-agent systems. The aim is to search for local minimizers of a non-convex objective function which is supposed to be a sum of local utility functions of the agents. The algorithm under study consists of two steps: a local stochastic gradient descent at each agent and a gossip step that drives the network of agents to a consensus. Under the assumption of decreasing stepsize, it is proved that consensus is asymptotically achieved in the network and that the algorithm converges to the set of Karush-Kuhn-Tucker points. As an important feature, the algorithm does not require the double-stochasticity of the gossip matrices. It is in particular suitable for use in a natural broadcast scenario for which no feedback messages between agents are required. It is proved that our result also holds if the number of communications in the network per unit of time vanishes at moderate speed as time increases, allowing for potential savings of the network's energy. Applications to power allocation in wireless ad-hoc networks are discussed. Finally, we provide numerical results which sustain our claims.

研究の動機と目的

• 非凸目的関数を有するマルチエージェントシステムのための分散型最適化フレームワークの開発。
• 最小限の通信制約のもとでKarush-Kuhn-Tucker点への収束を保証すること。
• 二重確率的gossip行列の必要性を排除することで、自然なブロードキャスト環境での利用を可能とすること。
• 時間の経過とともに通信レートを徐々に小さくすることを許容し、ネットワークのエネルギー消費を低減すること。
• 無線アドホックネットワークにおける電力割り当てへの応用。

提案手法

• 各エージェントは自らのローカルな利得関数を用いて局所的確率的勾配降下法を実行する。
• 混合行列に二重確率性を要求せずに、エージェント同士が合意形成に近づくようにgossipステップを適用する。
• 確率的勾配に起因する収束を保証するために、減少するステップサイズを用いる。
• ネットワークのトポロジーは時間とともに変化し、通信レートも時間の経過に従って徐々に低下することが許容される。
• 収束の証明には、リャプノフ型の議論と確率的近似理論を用いる。
• 無線電力割り当てシナリオにおける数値シミュレーションを通じて、フレームワークの妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 二重確率的gossip行列を必要としない分散型マルチエージェント確率的勾配アルゴリズムは、KKT点に収束するか？
• RQ2 エージェント間の通信レートが時間とともに低下する場合、アルゴリズムの性能はどのように変化するか？
• RQ3 減少するステップサイズと非凸目的関数のもとで、ネットワーク全体に漸近的合意が達成されるか？
• RQ4 フィードバックが利用できない自然なブロードキャスト環境でも、アルゴリズムは実用的か？
• RQ5 通信頻度の低減が収束性とエネルギー効率に与える影響は何か？

主な発見

• 減少するステップサイズを用い、二重確率的gossip行列を必要としない条件下でも、ネットワーク全体で漸近的合意が達成される。
• 分散型非凸最適化問題において、Karush-Kuhn-Tucker点の集合への収束が理論的に証明された。
• 通信回数が時間の経過とともに中程度の割合で減少する場合でも、アルゴリズムは依然として有効である。
• 通信要件が非常に低いことから、エネルギー制約のある環境に適している。
• 数値結果により、無線アドホックネットワークにおける電力割り当てシナリオで理論的主張が妥当であることが確認された。
• フィードバックが得られないブロードキャストのみの環境でも、実用的な展開が可能である。