[논문 리뷰] EXTRA: An Exact First-Order Algorithm for Decentralized Consensus Optimization

Wei Shi, Qing Ling외 2명|arXiv (Cornell University)|2014. 04. 24.

Distributed Control Multi-Agent Systems참고 문헌 32인용 수 11

한 줄 요약

이 논문은 이전 방법이 감소하는 스텝 사이즈가 필요로 하는 것과는 달리 고정된 큰 스텝 사이즈를 사용하여 정확한 해로의 전역 수렴을 달성하는 새로운 정확한 1차 분산 최적화 알고리즘인 EXTRA를 제안한다. 이 알고리즘은 두 번째로 연속된 반복에서의 기울기를 활용하며, 볼록이고 리프시츠-연속 미분 가능한 목표 함수에 대해 O(1/k)의 에르고딕 수렴 속도를 달성하고, 제한된 강凸성 조건 하에서는 선형 수렴을 보인다.

ABSTRACT

Recently, there have been growing interests in solving consensus optimization problems in a multi-agent network. In this paper, we develop a decentralized algorithm for the consensus optimization problem $$\min\limits_{x\in\mathbb{R}^p}~\bar{f}(x)=\frac{1}{n}\sum\limits_{i=1}^n f_i(x),$$ which is defined over a connected network of $n$ agents, where each function $f_i$ is held privately by agent $i$ and encodes the agent's data and objective. All the agents shall collaboratively find the minimizer while each agent can only communicate with its neighbors. Such a computation scheme avoids a data fusion center or long-distance communication and offers better load balance to the network. This paper proposes a novel decentralized EXact firsT-ordeR Algorithm (abbreviated as EXTRA) to solve the consensus optimization problem. "exact" means that it can converge to the exact solution. EXTRA can use a fixed large step size, {which is independent of the network size}, and has synchronized iterations. The local variable of every agent $i$ converges uniformly and consensually to an exact minimizer of $\bar{f}$. In contrast, the well-known decentralized gradient descent (DGD) method must use diminishing step sizes in order to converge to an exact minimizer. EXTRA and DGD have the same choice of mixing matrices and similar per-iteration complexity. EXTRA, however, uses the gradients of last two iterates, unlike DGD which uses just that of last iterate. EXTRA has the best known convergence rates among the existing first-order decentralized algorithms. Specifically, if $f_i$'s are convex and have Lipschitz continuous gradients, EXTRA has an ergodic convergence rate $O(\frac{1}{k})$ in terms of the first-order optimality residual. If $\bar{f}$ is also restricted strongly convex, EXTRA converges to an optimal solution at a linear rate $O(C^{-k})$ for some constant $C>1$.

연구 동기 및 목표

• 감소하는 스텝 사이즈가 필요로 하지 않고도 공식 최적화 문제의 전역 최소화점을 정확히 수렴시키는 분산 1차 알고리즘을 개발하는 것.
• 기존 방법들인 분산 기울기 하강법(DGD)과 같은 제한점을 해결하는 것. DGD는 정확한 수렴을 달성하기 위해 감소하는 스텝 사이즈가 필요로 한다.
• 동기화된 반복과 고정된 스텝 사이즈를 갖는 방법을 설계하여 분산 네트워크에서 높은 효율성과 수렴 보장을 유지하는 것.
• 볼록이고 리프시츠-연속 미분 가능한 목표 함수에 대해 1차 분산 알고리즘 중에서 가장 우수한 수렴 속도를 달성하는 것.

제안 방법

• EXTRA는 네트워크 크기와 무관한 고정된 큰 스텝 사이즈를 사용하여 안정적이고 효율적인 반복를 가능하게 한다.
• 해당 알고리즘은 해의 국소 추정치를 유지하고 현재 및 이전 반복에서의 기울기를 사용하여 이를 갱신한다.
• 모든 에이전트가 동일한 해로 균일하게 수렴하도록 보장하기 위해 혼합 행렬을 활용하여 에이전트 간의 일치를 강제한다.
• 고정된 스텝 사이즈 하에서 수렴을 증명하기 위해 새로운 리아푸노프 함수와 분석 프레임워크를 도입한다.
• 공식 최적화 문제의 구조를 활용하여 기울기 하강법과 연속된 반복 간의 차이에 기반한 보정 항을 조합한다.
• 연결된 네트워크에서 모든 에이전트가 동기적으로 실행되도록 설계된다.

실험 결과

연구 질문

• RQ1 감소하는 스텝 사이즈를 사용하지 않고도 분산 1차 알고리즘이 전역 최소화점을 정확히 수렴시킬 수 있는가?
• RQ2 볼록이고 리프시츠-연속 미분 가능한 목표 함수에 대해 1차 분산 알고리즘의 최고 수렴 속도는 무엇인가?
• RQ3 과거 기울기 정보의 사용이 분산 최적화에서 수렴을 어떻게 향상시킬 수 있는가?
• RQ4 고정된 스텝 사이즈 하에서 분산 공식 최적화에서 선형 수렴을 보장하는 조건은 무엇인가?

주요 결과

• EXTRA는 볼록이고 리프시츠-연속 미분 가능한 목표 함수에 대해 1차 최적성 잔여항 측면에서 O(1/k)의 에르고딕 수렴 속도를 달성한다.
• 평균 목표 함수가 제한된 강凸성을 만족할 경우, EXTRA는 O(C^(-k))의 속도로 선형 수렴을 보인다. 여기서 C > 1이다.
• 알고리즘은 네트워크 크기와 무관한 고정된 스텝 사이즈를 사용하여 안정적이고 확장 가능한 성능를 확보한다.
• EXTRA는 감소하는 스텝 사이즈가 필요로 하지 않으면서도 정확한 수렴을 유지함으로써 DGD 및 기타 1차 방법보다 뛰어난 성능을 보인다.
• 수렴 분석을 통해 알고리즘의 리아푸노프 함수가 제시된 수렴 범위에 부합하는 속도로 감소함을 입증한다.
• 이 방법은 평균 목표 함수의 정확한 최소화점을 향해 모든 에이전트의 국소 변수가 균일하고 일치적으로 수렴함을 보장한다.