[論文レビュー] How is Distributed ADMM Affected by Network Topology?

Guilherme França, José Bento|arXiv (Cornell University)|Oct 2, 2017

Distributed Control Multi-Agent Systems参考文献 44被引用数 20

ひとこと要約

本稿は、任意のグラフ上での非強い凸性を持つ協調問題における分散型過剰緩和ADMMの収束速度について、完全な特徴付けを提供しており、それがグラフのランダムウォーク遷移行列の第二固有値に明示的に依存することを示している。Markov連鎖のリフトが混合を加速しないグラフでさえも、ADMMが勾配降下法（GD）より少なくとも同じ速度で収束し、収束時間において平方根の高速化を達成するという予想を証明している。

ABSTRACT

When solving consensus optimization problems over a graph, there is often an explicit characterization of the convergence rate of Gradient Descent (GD) using the spectrum of the graph Laplacian. The same type of problems under the Alternating Direction Method of Multipliers (ADMM) are, however, poorly understood. For instance, simple but important non-strongly-convex consensus problems have not yet being analyzed, especially concerning the dependency of the convergence rate on the graph topology. Recently, for a non-strongly-convex consensus problem, a connection between distributed ADMM and lifted Markov chains was proposed, followed by a conjecture that ADMM is faster than GD by a square root factor in its convergence time, in close analogy to the mixing speedup achieved by lifting several Markov chains. Nevertheless, a proof of such a claim is is still lacking. Here we provide a full characterization of the convergence of distributed over-relaxed ADMM for the same type of consensus problem in terms of the topology of the underlying graph. Our results provide explicit formulas for optimal parameter selection in terms of the second largest eigenvalue of the transition matrix of the graph's random walk. Another consequence of our results is a proof of the aforementioned conjecture, which interestingly, we show it is valid for any graph, even the ones whose random walks cannot be accelerated via Markov chain lifting.

研究の動機と目的

• 非強い凸性を持つ協調問題における、分散型過剰緩和ADMMの収束速度が、下位のネットワークトポロジーにどのように依存するかを理解すること。
• 同じ協調問題におけるADMMの収束速度と分散勾配降下法（GD）の収束速度を比較すること。
• ADMMの収束がリフトされたMarkov連鎖に関連するという予想を解消すること。この予想は、GDに対する平方根の高速化を示唆している。
• 特にランダムウォーク遷移行列の第二固有値に注目し、グラフのスペクトル特性に基づいて最適なアルゴリズムパラメータの明示的公式を導出すること。

提案手法

• エッジ上の二乗差の和を最小化する形で協調問題を定式化し、これは分散平均化に対応する。
• グラフのランダムウォークの遷移行列のスペクトル特性を用いて、過剰緩和ADMMの漸近的収束速度を分析する。
• ADMM反復行列の第二固有値の正確な表現を、ランダムウォーク行列のスペクトルギャップおよび固有値を用いて導出する。
• 複素固有値解析を用いて支配的収束モードを同定し、過剰緩和パラメータγおよびスペクトル半径ρを最適化して収束速度を最小化する。
• グラフラプラシアンの最大固有値を用いたGD収束速度の上限を適用し、それらをスペクトルギャップδに関連付ける。
• ADMMとGDの収束速度を結びつける不等式を確立し、δに関する漸近展開を用いて、予想された平方根の高速化を証明する。

実験結果

リサーチクエスチョン

• RQ1 分散型過剰緩和ADMMの収束速度は、下位のグラフトポロジーにどのように依存するか？
• RQ2 ADMMがGDの収束時間において平方根の高速化を達成するという予想が、一般のグラフに対して正式に証明可能か？
• RQ3 グラフのスペクトルギャップに関して、過剰緩和パラメータγおよびスペクトル半径ρの最適選択は何か？
• RQ4 Markov連鎖のリフトが混合を加速しないグラフに対しても、ADMMの高速化は成立するか？
• RQ5 グラフのランダムウォークのスペクトルギャップδに関して、ADMMとGDの収束速度は定量的にどのように比較できるか？

主な発見

• 分散型過剰緩和ADMMの最適収束速度は、ランダムウォーク遷移行列の第二固有値によって決定され、最適パラメータの明示的公式が導出された。
• 本稿は、ADMMがGDと同等以上に収束し、収束時間において平方根の高速化を達成するという予想を証明した。具体的には、(1−τ_A^*)² ≈ 2δ(1−o(√δ)) および (1−τ_G^*) ≥ (1−δ)/(1+δ) であり、(1−τ_A^*)² ≥ C(1−τ_G^*) が成り立ち、C=1−O(√δ) である。
• ADMMの収束速度は τ_A^* = 1−√(2δ)+2δ+O(δ^{3/2}) で有界であり、スペクトルギャップδに対して2次関数的依存を示しており、これはGDの線形依存に対する平方根の改善を示唆する。
• 最適過剰緩和パラメータγ^* は γ^* = 4 / (3 + √((2−ρ^*)/(2+ρ^*))) として導出され、ここで ρ^* = 2√(1−(ω^*)²) であり、ω^* はランダムウォーク行列の第二固有値である。
• この高速化は、Markov連鎖のリフトが混合を加速しないグラフに対しても成立し、ADMMの高速化がリフトに依存するのではなく、本質的なスペクトル特性に起因することを示している。
• 収束速度は、グラフ次数の変動に対して一次の項では独立であり、最大次数と最小次数の比∆は高階補正項にのみ現れる。