[논문 리뷰] On the Convergence of Decentralized Gradient Descent

Kun Yuan, Qing Ling외 1명|arXiv (Cornell University)|2013. 10. 26.

Distributed Control Multi-Agent Systems참고 문헌 38인용 수 57

한 줄 요약

이 논문은 각 에이전트가 국소 목적 함수를 보유하고 이웃 에이전트와만 통신하는 다중 에이전트 네트워크에서 공통 최적화를 해결하기 위한 탈중앙화 경사하강법을 분석한다. 볼록 함수의 경우 수렴 속도가 O(1/k)이며, 강한 볼록 함수의 경우 선형 수렴 속도를 보이며, 스텝 사이즈 α가 기울기의 최대 리프시츠 상수와 네트워크의 스펙트럼 성질과 관련된 한계 이하로 선택될 경우, 방법은 최적 해의 O(α)-근방으로 수렴함을 보여준다.

ABSTRACT

Consider the consensus problem of minimizing $f(x)=\sum_{i=1}^n f_i(x)$ where each $f_i$ is only known to one individual agent $i$ out of a connected network of $n$ agents. All the agents shall collaboratively solve this problem and obtain the solution subject to data exchanges restricted to between neighboring agents. Such algorithms avoid the need of a fusion center, offer better network load balance, and improve data privacy. We study the decentralized gradient descent method in which each agent $i$ updates its variable $x_{(i)}$, which is a local approximate to the unknown variable $x$, by combining the average of its neighbors' with the negative gradient step $-α abla f_i(x_{(i)})$. The iteration is $$x_{(i)}(k+1) \gets \sum_{ ext{neighbor} j ext{of} i} w_{ij} x_{(j)}(k) - α abla f_i(x_{(i)}(k)),\quad ext{for each agent} i,$$ where the averaging coefficients form a symmetric doubly stochastic matrix $W=[w_{ij}] \in \mathbb{R}^{n imes n}$. We analyze the convergence of this iteration and derive its converge rate, assuming that each $f_i$ is proper closed convex and lower bounded, $ abla f_i$ is Lipschitz continuous with constant $L_{f_i}$, and stepsize $α$ is fixed. Provided that $α< O(1/L_h)$ where $L_h=\max_i\{L_{f_i}\}$, the objective error at the averaged solution, $f(\frac{1}{n}\sum_i x_{(i)}(k))-f^*$, reduces at a speed of $O(1/k)$ until it reaches $O(α)$. If $f_i$ are further (restricted) strongly convex, then both $\frac{1}{n}\sum_i x_{(i)}(k)$ and each $x_{(i)}(k)$ converge to the global minimizer $x^*$ at a linear rate until reaching an $O(α)$-neighborhood of $x^*$. We also develop an iteration for decentralized basis pursuit and establish its linear convergence to an $O(α)$-neighborhood of the true unknown sparse signal.

연구 동기 및 목표

• 중앙 조율자가 없는 네트워크에서 탈중앙화 경사하강법의 수렴 행동을 이해하기 위해.
• 해법이 최적 해의 근방으로 수렴하는 조건을 규명하기 위해.
• 스텝 사이즈, 함수 성질(볼록성, 리프시츠 연속성), 네트워크 구조가 수렴 속도에 미치는 영향을 정량화하기 위해.
• 수렴을 보장하는 스텝 사이즈의 이론적 한계를 설정하기 위해.

제안 방법

• 각 에이전트는 국소 변수 $ x_{(i)} $를 유지하고, 이는 국소 경사하강법과 이웃과의 공감 평균화의 조합을 통해 갱신된다.
• 업데이트 규칙은 $ x_{(i)}(k+1) = \sum_{j=1}^n w_{ij}x_{(j)}(k) - \alpha \nabla f_i(x_{(i)}(k)) $이며, $ W = [w_{ij}] $는 대칭적이고 이중 스토하스틱인 혼합 행렬이다.
• 이 방법은 완전히 탈중앙화된 방식으로 작동하며, 융합 센터 없이 이웃 간 국소 통신만 필요로 한다.
• 각 $ f_i $가 볼록, 닫혀 있고 아래로 유계이며, 기울기가 리프시츠 연속임을 가정하여 수렴을 분석한다.
• 수렴 속도를 특성화하기 위해 혼합 행렬 $ W $의 스펙트럼 성질, 특히 $ \beta = \max\{ |\lambda_2(W)|, |\lambda_n(W)| \} $을 분석에 활용한다.
• 이 방법은 이중 설정을 통한 탈중앙화 기저 추적 문제로 확장되며, 진짜 희박 신호의 $ O(\alpha) $-근방으로 선형 수렴을 보임을 증명한다.

실험 결과

연구 질문

• RQ1 탈중앙화 경사하강법이 다중 에이전트 네트워크에서 어떤 조건에서 해로 수렴하는가?
• RQ2 고정 스텝 사이즈 $ \alpha $의 선택이 수렴에 어떤 영향을 미치며, 수렴을 보장하기 위한 최대 허용 스텝 사이즈는 무엇인가?
• RQ3 목적 함수가 볼록인 경우와 강한 볼록인 경우에 대해 탈중앙화 경사하강법의 수렴 속도는 어떻게 되는가?
• RQ4 네트워크 구조(혼합 행렬 $ W $를 통해)와 국소 함수의 매끄러움이 수렴 속도에 공동으로 어떤 영향을 미치는가?
• RQ5 이 방법은 기저 추적과 같은 비매끄러운 문제로 확장될 수 있으며, 어떤 수렴 보장이 존재하는가?

주요 결과

• 볼록이고 리프시츠 연속적인 목적 함수의 경우, 모든 국소 해와 네트워크 전반의 평균 해는 수렴 속도가 $ O(1/k) $이며, 결국 최적 값의 $ O(\alpha) $-근방으로 수렴한다.
• 국소 함수가 (제한된) 강한 볼록일 경우, 모든 국소 해와 평균 해는 최적 해 $ x^* $의 $ O(\alpha) $-근방으로 선형 수렴한다.
• 고정 스텝 사이즈 $ \alpha $가 $ \alpha = O(1/L_h) $ 조건을 만족할 경우 방법은 수렴한다. 여기서 $ L_h = \max_i L_{f_i} $이며, 수치 결과는 이 한계를 초과할 경우 발산함을 확인한다.
• 논문의 정리 1에서 도출된 이론적 스텝 사이즈 한계는 경험적 성능과 매우 유사하며, 실험에서 $ \alpha = 0.1038 $일 경우 수렴하고 $ \alpha = 0.12 $일 경우 발산함을 보였다.
• 탈중앙화 기저 추적의 경우, 이중 변수 평균은 진짜 해 집합의 $ O(\alpha) $-근방으로 선형 수렴하며, 원래 변수의 수수함 역시 관찰되었다.
• 수치 결과는 한계 오차 수준이 스텝 사이즈 $ \alpha $에 비례하며, 더 작은 스텝 사이즈일수록 더 정확한 해를 얻는다는 점을 보여주며, 이는 이론과 일치한다.