[論文レビュー] Explicit Convergence Rate of a Distributed Alternating Direction Method of Multipliers

Franck Iutzeler, Pascal Bianchi+2 more|arXiv (Cornell University)|Dec 4, 2013

Distributed Control Multi-Agent Systems被引用数 7

ひとこと要約

本稿は、N人のエージェントがそれぞれ局所的凸関数を持つ分散ADMMアルゴリズムについて、明示的な線形収束速度を提供する。解におけるヘッセ行列の和が正定値で、2回連続で微分可能であるという仮定の下、収束速度はヘッセ行列とネットワーク構造を含む行列の固有値半径として導出される。これにより、収束を速めるためにADMMペナルティパラメータρの最適化が可能になる。

ABSTRACT

Consider a set of N agents seeking to solve distributively the minimization problem $\\inf_{x} \\sum_{n = 1}^N f_n(x)$ where the convex functions $f_n$ are local to the agents. The popular Alternating Direction Method of Multipliers has the potential to handle distributed optimization problems of this kind. We provide a general reformulation of the problem and obtain a class of distributed algorithms which encompass various network architectures. The rate of convergence of our method is considered. It is assumed that the infimum of the problem is reached at a point $x_\\star$, the functions $f_n$ are twice differentiable at this point and $\\sum \ abla^2 f_n(x_\\star) > 0$ in the positive definite ordering of symmetric matrices. With these assumptions, it is shown that the convergence to the consensus $x_\\star$ is linear and the exact rate is provided. Application examples where this rate can be optimized with respect to the ADMM free parameter $\ ho$ are also given.

研究の動機と目的

• 分散ADMMの線形収束速度を明示的かつタイトに確立すること。
• ネットワークトポロジーとアルゴリズムパラメータが収束速度に与える影響を分析すること。
• 一般化されたエージェントグループ化を用いて、完全に集中型から完全に分散型の設定まで適用可能なフレームワークを提供すること。
• 収束性能の向上を図るため、ADMMペナルティパラメータρの最適化を可能にすること。

提案手法

• さまざまなネットワークアーキテクチャをモデル化するため、エージェントグループ A₁,…,Aₗ を用いて分散コアリション問題を再定式化する。
• これらのグループに基づいて動作する分散ADMMアルゴリズムを導出することで、ペairワイズおよびクラスターレベルの通信を可能にする。
• 二次関数の場合、ADMM反復をアフィン変換 ζₖ₊₁ = Rζₖ + d としてモデル化し、収束は行列Rの固有値半径によって支配されることを分析する。
• 一般ケースへの拡張では、非二次関数をRの主要固有空間内での摂動とみなして扱う。
• 行列Rの固有構造解析を用いて、正確な線形収束速度を固有値半径 ρ(R) として導出する。
• シミュレーションで理論的収束速度と実測収束が一致することを示し、収束速度がタイトであることを実証する。

実験結果

リサーチクエスチョン

• RQ1 滑らかさとヘッセ行列が正定値である条件下で、分散ADMMの正確な線形収束速度は何か？
• RQ2 ネットワークトポロジー（例：集中型対リング型）は収束速度にどのように影響するか？
• RQ3 ADMMペナルティパラメータρを最適化することで収束速度を最小化できるか？
• RQ4 局所関数のヘッセ行列が解においてどのように収束速度に依存するか？
• RQ5 理論的収束速度はタイトか、すなわち実測性能と一致するか？

主な発見

• 線形収束速度は、ヘッセ行列の和 ∑ₙ ∇²fₙ(x⋆) とネットワーク構造から導かれる行列の固有値半径として明示的に特徴付けられる。
• 集中型ネットワークでは、最適なρはNに依存せず、第二階微分係数σ²⋆に等しい。
• リング型ネットワークでは、収束速度αはρとNの両方に依存し、ρの調整によって最適化可能である。
• 理論的収束速度はタイトである：数値シミュレーションでは、−k⁻¹ log∥xₖ − x⋆∥ が −log α に収束する。
• 非二次関数においても、従来の境界（例：Shiら）よりも精度が高く、本手法は性能を向上させる。
• ρとネットワークトポロジーの最適化により、収束性能を向上させるADMMの変種を設計可能となる。