[論文レビュー] Distributed Stochastic Subgradient Projection Algorithms for Convex Optimization

S. Sundhar Ram, Angelia Nedich+1 more|ArXiv.org|Nov 16, 2008

Distributed Control Multi-Agent Systems参考文献 17被引用数 38

ひとこと要約

本稿は、共通の制約集合を有するマルチエージェント凸最適化のための分散型確率的部分勾配射影アルゴリズムを提案する。エージェントは、局所的な部分勾配情報（確率的誤差を伴う）と隣接エージェントとの通信による協調を用いて、反復的に自身の推定値を更新する。主な貢献は、部分勾配誤差とステップサイズが十分に速く減少する場合に、最適解への確率的1収束およびエージェント間の平均協調の証明である。

ABSTRACT

We consider a distributed multi-agent network system where the goal is to minimize a sum of convex objective functions of the agents subject to a common convex constraint set. Each agent maintains an iterate sequence and communicates the iterates to its neighbors. Then, each agent combines weighted averages of the received iterates with its own iterate, and adjusts the iterate by using subgradient information (known with stochastic errors) of its own function and by projecting onto the constraint set. The goal of this paper is to explore the effects of stochastic subgradient errors on the convergence of the algorithm. We first consider the behavior of the algorithm in mean, and then the convergence with probability 1 and in mean square. We consider general stochastic errors that have uniformly bounded second moments and obtain bounds on the limiting performance of the algorithm in mean for diminishing and non-diminishing stepsizes. When the means of the errors diminish, we prove that there is mean consensus between the agents and mean convergence to the optimum function value for diminishing stepsizes. When the mean errors diminish sufficiently fast, we strengthen the results to consensus and convergence of the iterates to an optimal solution with probability 1 and in mean square.

研究の動機と目的

• 各エージェントが局所的でノイズのある目的関数の知識を部分的に持つマルチエージェントネットワークにおける分散最適化アルゴリズムの開発。
• 2次モーメントで有界な確率的部分勾配誤差が分散凸最適化における収束に与える影響の分析。
• エージェントが確率的1収束および平均二乗収束の下で最適解に到達するための条件の確立。
• 従来の分散非制約最適化に関する先行研究を、確率的部分勾配評価を伴う制約付きケースに拡張。
• 確率的誤差およびネットワーク構造による性能劣化の明示的バウンディングの提供。

提案手法

• エージェントは局所的反復列を維持し、同期的かつ遅延のないネットワークモデルで隣接エージェントにそれらを通信する。
• 各エージェントは、自らの反復値と隣接エージェントから受信した反復値の重み付き平均を計算する。
• エージェントは、局所的目的関数の確率的部分勾配を用いて反復値を更新し、共通の凸制約集合上に射影する。
• アルゴリズムは減少するか非減少のステップサイズを用い、2次モーメントが一様に有界な部分勾配誤差を考慮する。
• 解析は、確率的近似、協調理論、および非i.i.d.誤差過程におけるリャプノフベースの安定性のツールを活用する。
• 主な構成要素には、部分勾配誤差のモデル化、制約集合への射影、および確率的摂動下での協調ダイナミクスが含まれる。

実験結果

リサーチクエスチョン

• RQ1 部分勾配評価が確率的誤差によって汚染される場合、分散エージェントが平均で協調に到達する条件は何か？
• RQ2 確率的部分勾配誤差の2次モーメントが、分散最適化アルゴリズムの限界的性能にどのように影響するか？
• RQ3 部分勾配誤差の平均とステップサイズの減少率が、最適解への確率的1収束を保証するための条件は何か？
• RQ4 ネットワークトポロジーと制約集合は、収束速度と誤差バウンディングにどのように影響するか？
• RQ5 誤差とステップサイズが十分に速く減少する場合、アルゴリズムは同時に協調性と最適解への収束を達成できるか？

主な発見

• ステップサイズを減少させ、誤差の平均を消失させる条件下では、アルゴリズムはエージェント間で平均協調を達成し、最適関数値への平均収束を示す。
• 誤差の平均が十分に速く減少し、ステップサイズが適切に減少する場合、反復値は確率的1収束で共通の最適解に到達する。
• 定数ステップサイズの場合、最適値からの期待値のずれは $1/t$ のレートで減少する。ここで $t$ は反復回数である。
• 性能バウンディングは $\alpha (\max_i \{C_i + \nu_i\})^2 m^4$ に比例する。ここで $m$ はエージェント数、$\alpha$ はステップサイズの上限、$C_i$ と $\nu_i^2$ は部分勾配ノルムと誤差2次モーメントのバウンディングである。
• 同一でないステップサイズが用いられても結果は成立するが、最小化される目的関数は重み付き和となり、局所関数の非重み付き和とは異なる。
• 誤差のエージェントおよび時間にわたる伝播を分析し、確率的部分勾配誤差によって生じる反復値の統計的依存性を示している。