[論文レビュー] On the Convergence of Decentralized Gradient Descent

Kun Yuan, Qing Ling+1 more|arXiv (Cornell University)|Oct 26, 2013

Distributed Control Multi-Agent Systems参考文献 38被引用数 57

ひとこと要約

この論文は、各エージェントが局所的な目的関数を持ち、隣接エージェントとのみ通信するマルチエージェントネットワークにおける一貫性最適化を解くための分散型勾配降下法を分析している。凸関数に対しては収束速度 $ O(1/k) $、強い凸関数に対しては線形収束を確立し、ステップサイズ $ \alpha $ が勾配の最大リプシッツ定数とネットワークの固有値特性に関連する上限未満に選ばれる場合、最適解の $ O(\alpha) $-近傍に収束することを示している。

ABSTRACT

Consider the consensus problem of minimizing $f(x)=\sum_{i=1}^n f_i(x)$ where each $f_i$ is only known to one individual agent $i$ out of a connected network of $n$ agents. All the agents shall collaboratively solve this problem and obtain the solution subject to data exchanges restricted to between neighboring agents. Such algorithms avoid the need of a fusion center, offer better network load balance, and improve data privacy. We study the decentralized gradient descent method in which each agent $i$ updates its variable $x_{(i)}$, which is a local approximate to the unknown variable $x$, by combining the average of its neighbors' with the negative gradient step $-α abla f_i(x_{(i)})$. The iteration is $$x_{(i)}(k+1) \gets \sum_{ ext{neighbor} j ext{of} i} w_{ij} x_{(j)}(k) - α abla f_i(x_{(i)}(k)),\quad ext{for each agent} i,$$ where the averaging coefficients form a symmetric doubly stochastic matrix $W=[w_{ij}] \in \mathbb{R}^{n imes n}$. We analyze the convergence of this iteration and derive its converge rate, assuming that each $f_i$ is proper closed convex and lower bounded, $ abla f_i$ is Lipschitz continuous with constant $L_{f_i}$, and stepsize $α$ is fixed. Provided that $α< O(1/L_h)$ where $L_h=\max_i\{L_{f_i}\}$, the objective error at the averaged solution, $f(\frac{1}{n}\sum_i x_{(i)}(k))-f^*$, reduces at a speed of $O(1/k)$ until it reaches $O(α)$. If $f_i$ are further (restricted) strongly convex, then both $\frac{1}{n}\sum_i x_{(i)}(k)$ and each $x_{(i)}(k)$ converge to the global minimizer $x^*$ at a linear rate until reaching an $O(α)$-neighborhood of $x^*$. We also develop an iteration for decentralized basis pursuit and establish its linear convergence to an $O(α)$-neighborhood of the true unknown sparse signal.

研究の動機と目的

• 中央集権的な調整者なしのネットワークにおける分散型勾配降下法の収束特性を理解すること。
• この手法が最適解の近傍に収束する条件を特定すること。
• ステップサイズ、関数の性質（凸性、リプシッツ連続性）およびネットワークトポロジーが収束速度に与える影響を定量化すること。
• 収束を保証するステップサイズの理論的境界を確立すること。

提案手法

• 各エージェントは局所変数 $ x_{(i)} $ を維持し、隣接エージェントとの一貫性平均化と局所勾配降下の組み合わせにより更新する。
• 更新式は $ x_{(i)}(k+1) = \sum_{j=1}^n w_{ij}x_{(j)}(k) - \alpha \nabla f_i(x_{(i)}(k)) $ であり、$ W = [w_{ij}] $ は対称的かつ双確率的混合行列である。
• この手法は完全に分散型に動作し、中央集権的な融合センターを必要とせず、隣接エージェント間のローカル通信のみを要する。
• 各 $ f_i $ が凸、閉、下界であり、かつ勾配がリプシッツ連続であるという仮定の下で収束を分析する。
• 収束レートを特徴付けるために、混合行列 $ W $ の固有値特性、特に $ \beta = \max\{ |\lambda_2(W)|, |\lambda_n(W)| \} $ を分析に用いる。
• 双対定式化を用いて、基礎的基底追求問題への応用を拡張し、真のスパース信号の $ O(\alpha) $-近傍への線形収束を証明した。

実験結果

リサーチクエスチョン

• RQ1 分散型勾配降下法がマルチエージェントネットワークで解に収束する条件は何か？
• RQ2 固定ステップサイズ $ \alpha $ の選択が収束に与える影響は何か？収束を保証するための最大許容ステップサイズは何か？
• RQ3 目的関数が凸である場合と強い凸である場合の、分散型勾配降下法の収束速度はそれぞれ如何くらか？
• RQ4 ネットワークトポロジー（混合行列 $ W $ を通じて）と局所関数の滑らかさが、収束速度にどのように影響するか？
• RQ5 この手法は非滑らかな問題（例：基底追求）に拡張可能か？その場合の収束保証は何か？

主な発見

• 凸かつリプシッツ連続な目的関数に対して、すべての局所解およびネットワーク全体の平均解の目的関数誤差は $ O(1/k) $ の速度で収束し、最終的に最適値の $ O(\alpha) $-近傍に達する。
• 局所関数が（制限付き）強い凸性を満たす場合、すべての局所解および平均解は線形に最適解 $ x^* $ の $ O(\alpha) $-近傍に収束する。
• 固定ステップサイズ $ \alpha $ が $ \alpha = O(1/L_h) $ を満たす限り、収束が保証される。数値結果では、この境界を超えると発散が生じることを確認した。
• 定理1で導出された理論的ステップサイズ境界は、実験的性能と非常に近い一致を示しており、$ \alpha = 0.1038 $ では収束し、$ \alpha = 0.12 $ では発散することが実験で確認された。
• 分散型基底追求問題では、双対変数の平均が真の解集合の $ O(\alpha) $-近傍に線形収束し、プライム変数の収束も観察された。
• 数値結果から、限界誤差レベルがステップサイズ $ \alpha $ に比例することが示され、より小さなステップサイズではより高精度な解が得られることを理論と整合した。