[論文レビュー] Distributed Mirror Descent over Directed Graphs

Chenguang Xi, Qiong Wu+1 more|arXiv (Cornell University)|Dec 16, 2014

Distributed Control Multi-Agent Systems参考文献 36被引用数 14

ひとこと要約

本稿では、各エージェントがグローバルなユークリッド距離の代わりに局所的に設計されたブレグマン距離関数を用いることで、有向マルチエージェントネットワーク上の制約付き凸最適化のための新しいアルゴリズムである分散ミラー降下（DMD）を提案する。この手法は、行確率的重み行列を用いることで収束を保証し、従来の研究を有向グラフに一般化し、二重確率的行列が構築できない場合でも収束を可能にする。

ABSTRACT

In this paper, we propose Distributed Mirror Descent (DMD) algorithm for constrained convex optimization problems on a (strongly-)connected multi-agent network. We assume that each agent has a private objective function and a constraint set. The proposed DMD algorithm employs a locally designed Bregman distance function at each agent, and thus can be viewed as a generalization of the well-known Distributed Projected Subgradient (DPS) methods, which use identical Euclidean distances at the agents. At each iteration of the DMD, each agent optimizes its own objective adjusted with the Bregman distance function while exchanging state information with its neighbors. To further generalize DMD, we consider the case where the agent communication follows a \emph{directed} graph and it may not be possible to design doubly-stochastic weight matrices. In other words, we restrict the corresponding weight matrices to be row-stochastic instead of doubly-stochastic. We study the convergence of DMD in two cases: (i) when the constraint sets at the agents are the same; and, (ii) when the constraint sets at the agents are different. By partially following the spirit of our proof, it can be shown that a class of consensus-based distributed optimization algorithms, restricted to doubly-stochastic matrices, remain convergent with stochastic matrices.

研究の動機と目的

• エージェントが有向グラフを介して通信するマルチエージェントシステムにおける制約付き凸最適化を扱う。
• エージェント固有のブレグマン距離関数を許容することで、従来の分散投影勾配法を一般化する。
• 二重確率的重み行列を構築できない有向ネットワークでも収束を可能にする。
• エージェントの制約集合が同一か異なるかに応じた収束を分析する。
• 確率的行列を用いることで、共分散ベースのアルゴリズムが提案フレームワーク下でも収束することを示す。

提案手法

• 各エージェントは局所的な目的関数と制約集合を維持し、局所的に定義されたブレグマン発散を用いて更新をガイドする。
• エージェント固有のブレグマン関数を用いたミラー降下ステップを繰り返し行う。
• エージェントは行確率的重み行列を用いて隣接エージェントと状態を交換し、二重確率的行列の必要性を回避する。
• 標準的な分散投影勾配（DPS）法を、任意のブレグマン発散に置き換えることで一般化する。
• 収束は、制約集合が同一である場合と異なる場合の2つの設定で分析する。
• 証明技法は、確率的行列を用いる共分散ベースのアルゴリズムが収束し続けることを示すためにも拡張可能である。

実験結果

リサーチクエスチョン

• RQ1 二重確率的重みが利用できない有向グラフに対してもミラー降下を拡張できるか？
• RQ2 エージェント固有のブレグマン距離を用いることで、分散最適化における収束にどのような影響を与えるか？
• RQ3 エージェントが異なる制約集合を持つ場合、収束を保証する条件は何か？
• RQ4 行確率的重みを二重確率的重みに代えると、共分散ベースのアルゴリズムの収束性は保たれるか？
• RQ5 ブレグマン発散は、有向ネットワークにおける分散最適化を可能にする役割を果たすか？

主な発見

• すべてのエージェントが同じ制約集合を持つ場合、DMDアルゴリズムは有向通信グラフ下でも最適解に収束する。
• エージェントが異なる制約集合を持つ場合でも、ネットワークおよび目的関数に関する適切な仮定の下で収束が保証される。
• 局所的に設計されたブレグマン距離の使用により、同一のユークリッド距離に依存する標準的なDPS法が一般化される。
• 行確率的重み行列を用いても収束性が保たれるため、従来の研究が二重確率的行列を必要としていた点に比して、顕著な進展である。
• 理論的枠組みにより、確率的重みを用いるより広範な共分散ベースの分散アルゴリズムの収束が支持される。
• 証明構造は、既存のアルゴリズムが確率的行列に制限された場合の収束を示すためにも適合可能であり、その適用範囲が拡張される。