[論文レビュー] Distributed Nonconvex Multiagent Optimization Over Time-Varying Networks

Ying Sun, Gesualdo Scutari+1 more|arXiv (Cornell University)|Jul 1, 2016

Distributed Control Multi-Agent Systems参考文献 24被引用数 17

ひとこと要約

本稿では、時間変動する有向ネットワーク上で非凸制約最適化を実行するための新しいブロードキャストベース分散アルゴリズム、SONATAを提案する。Successive Convex Approximation (SCA) と勾配追跡を組み合わせ、新たなネットワーク内ブロードキャストプロトコルを採用することで、二重確率的連合行列やグラフ列の事前知識を必要とせず、定常解への収束を達成する。これは任意の時間変動する有向グラフに対して、初めてのこのようなフレームワークである。

ABSTRACT

We study nonconvex distributed optimization in multiagent networks where the communications between nodes is modeled as a time-varying sequence of arbitrary digraphs. We introduce a novel broadcast-based distributed algorithmic framework for the (constrained) minimization of the sum of a smooth (possibly nonconvex and nonseparable) function, i.e., the agents' sum-utility, plus a convex (possibly nonsmooth and nonseparable) regularizer. The latter is usually employed to enforce some structure in the solution, typically sparsity. The proposed method hinges on Successive Convex Approximation (SCA) techniques coupled with i) a tracking mechanism instrumental to locally estimate the gradients of agents' cost functions; and ii) a novel broadcast protocol to disseminate information and distribute the computation among the agents. Asymptotic convergence to stationary solutions is established. A key feature of the proposed algorithm is that it neither requires the double-stochasticity of the consensus matrices (but only column stochasticity) nor the knowledge of the graph sequence to implement. To the best of our knowledge, the proposed framework is the first broadcast-based distributed algorithm for convex and nonconvex constrained optimization over arbitrary, time-varying digraphs. Numerical results show that our algorithm outperforms current schemes on both convex and nonconvex problems.

研究の動機と目的

• 時間変動する有向通信トポロジーを持つマルチエージェントネットワークにおける分散非凸最適化の課題に対処すること。
• 二重確率的連合行列やネットワーク列の事前知識を必要としないスケーラブルで完全に分散化されたアルゴリズムを開発すること。
• 新規なブロードキャストプロトコルを用いて、エージェント間での効率的な計算と情報共有を可能にすること。
• ネットワーク構造に対する最小限の仮定のもとで、非凸問題に対する収束保証を確立すること。
• 実際のネットワーク制約下で、凸および非凸設定の両方において、既存手法を上回ることを実証的に検証すること。

提案手法

• 非凸性を扱うために、反復的に凸部分問題を解くSuccessive Convex Approximation (SCA) を用いる。
• 各エージェントは、局所的な勾配追跡機構を用いて、他のエージェントの関数の勾配を追跡する。
• 新規なネットワーク内ブロードキャストプロトコルにより、フィードバックを必要とせず、情報の効率的配布と計算の分散化を実現する。
• 二重確率的でない代わりに列確率的連合行列を用いることで、任意の有向グラフへの応用範囲を広げる。
• エージェントは自身の局所関数しか認識せず、グローバルなネットワーク知識を持たない完全に分散化された動作を設計する。
• 滑らかな非凸および凸でない正則化項をサポートし、スパarsityなどの構造的解を可能にする。

実験結果

リサーチクエスチョン

• RQ1 二重確率的でない条件下で、任意の時間変動する有向グラフ上で非凸マルチエージェント最適化に定常解への収束を達成できる分散アルゴリズムは存在するか？
• RQ2 完全に分散化されスケーラブルな方法で、エージェントは他のエージェントの関数の勾配をどのように推定できるか？
• RQ3 従来の連合方式とは異なり、ブロードキャストベースのプロトコルを有向かつ時間変動するネットワークで使用した場合、どのような影響を及ぼすか？
• RQ4 提案されたアルゴリズムは、実用的なネットワーク制約下で、凸および非凸最適化問題において既存の手法を上回ることができるか？
• RQ5 ネットワークトポロジおよびエージェントの知識に関する最小限の仮定のもとで、アルゴリズムの収束特性はどのようなものか？

主な発見

• SONATA は、二重確率的連合行列を必要とせず、任意の時間変動する有向グラフ上で非凸問題に対して漸近的収束を達成する。
• 凸および非凸問題の両方において、subgradient-push や他の最先端手法と比較して、収束速度と連合精度の両面で優れている。
• 数値結果から、SONATA は特に非凸設定において、subgradient-push よりも著しく速く連合および収束に到達することが示された。
• 部分線形化とプロキシマル項を用いたSCAベースの手法は、単純な線形化よりも、ターゲット局所化問題における収束性を向上させる。
• 30台のセンサと5つのターゲットを想定したターゲット局所化問題において、200イテレーション以内にベンチマーク勾配アルゴリズムを上回る収束速度を達成した。
• ノイズ環境においても安定しており、距離測定値がi.i.d.ガウスノイズで汚されている場合でも、速やかに収束を維持する。