[논문 리뷰] Distributed heavy-ball: A generalization and acceleration of first-order methods with gradient tracking

Ran Xin, Usman A. Khan|arXiv (Cornell University)|2018. 08. 08.

Distributed Control Multi-Agent Systems참고 문헌 52인용 수 7

한 줄 요약

이 논문은 $σ$ABm을 제안하며, 이는 경사 추적과 하중운동량을 결합하여 무작위로 연결된 그래프와 방향성 그래프 모두에서 가속화된 R-선형 수렴을 달성하는 분산 최적화 알고리즘이다. 비동일한 국소 단계 크기와 동시에 행-스토케스틱(행스토케스틱) 및 열-스토케스틱(열스토케스틱) 가중치를 적용함으로써 이중 스트로케스틱 가중치나 고유벡터 추정이 필요 없게 되어, 기존 방법들을 통합하고, 특히 조건이 나쁜 문제에서 더 빠른 수렴을 가능하게 한다.

ABSTRACT

We study distributed optimization to minimize a global objective that is a sum of smooth and strongly-convex local cost functions. Recently, several algorithms over undirected and directed graphs have been proposed that use a gradient tracking method to achieve linear convergence to the global minimizer. However, a connection between these different approaches has been unclear. In this paper, we first show that many of the existing first-order algorithms are in fact related with a simple state transformation, at the heart of which lies the $\mathcal{AB}$ algorithm. We then describe extit{distributed heavy-ball}, denoted as $\mathcal{AB}m$, i.e., $\mathcal{AB}$ with momentum, that combines gradient tracking with a momentum term and uses nonidentical local step-sizes. By simultaneously implementing both row- and column-stochastic weights, $\mathcal{AB}m$ removes the conservatism in the related work due to doubly-stochastic weights or eigenvector estimation. $\mathcal{AB}m$ thus naturally leads to optimization and average-consensus over both undirected and directed graphs, casting a unifying framework over several well-known consensus algorithms over arbitrary strongly-connected graphs. We show that $\mathcal{AB}m$ has a global $R$-linear rate when the largest step-size is positive and sufficiently small. Following the standard practice in the heavy-ball literature, we numerically show that $\mathcal{AB}m$ achieves accelerated convergence especially when the objective function is ill-conditioned.

연구 동기 및 목표

• 다양한 분산 1차 최적화 방법과 경사 추적을 하나의 프레임워크로 통합하는 것.
• 이전 알고리즘에서 이중 스트로케스틱 가중치와 고유벡터 추정의 한계를 해결하는 것.
• 특히 조건이 나쁜 목적 함수에 대해 분산 최적화의 수렴 속도를 가속화하는 것.
• 기본적인 구조적 가정 없이도 무작위로 연결된 그래프와 방향성 그래프에 자연스럽게 확장 가능한 방법을 개발하는 것.

제안 방법

• 상태 변환을 통해 $σ$AB 알고리즘에 운동량을 통합한 분산 하중운동량 방법인 $σ$ABm을 제안한다.
• 이중 스트로케스틱 가중치에서 비롯하는 보수성(conservatism)을 피하기 위해 비동일한 국소 단계 크기와 동시에 행-스토케스틱(RS) 및 열-스토케스틱(CS) 가중치를 적용한다.
• 국소 정보와 이웃 간의 통신를 통해 전역 경사를 추정하는 경사 추적 메커니즘을 활용한다.
• 확장된 시스템 행렬의 스펙트럼 성질을 분석함으로써 수렴 보장을 도출하며, 가장 큰 단계 크기가 양수이면서 충분히 작은 경우 R-선형 수렴을 보임을 보여준다.
• $σ$ABm이 특수한 경우로 새로운 평균 수렴 알고리즘을 포함함으로써, 기존 접근법을 통합함을 보여준다.
• 시스템 행렬의 분산 스펙트럼 반경을 최소화하기 위해 그리드 서치를 활용해 운동량 파rameter($\alpha$, $\beta$)를 튜닝한다.

실험 결과

연구 질문

• RQ1 다양한 분산 1차 최적화 방법과 경사 추적을 하나의 통합 프레임워크로 연결할 수 있는가?
• RQ2 경사 추적에 운동량을 통합하면 분산 최적화에서 수렴 속도가 향상되는가?
• RQ3 비동일한 단계 크기와 혼합된 RS/CS 가중치의 사용이 고유벡터 추정이나 이중 스트로케스틱 가중치의 필요성을 제거할 수 있는가?
• RQ4 제안된 방법은 특히 조건이 나쁜 문제에서 가속화된 수렴을 달성하는가?
• RQ5 이 알고리즘은 기본적인 구조적 가정 없이도 무작위로 연결된 그래프와 방향성 그래프에 자연스럽게 적용 가능한가?

주요 결과

• 부드럽고 강력한 볼록 목적 함수 하에서, 가장 큰 단계 크기가 양수이면서 충분히 작은 경우 $σ$ABm 알고리즘이 전역 R-선형 수렴을 달성한다.
• 수치 결과는 조건이 나쁜 문제에서 $σ$ABm이 중심화된 경사 하강법보다 뛰어나며, 운동량 덕분에 가속화됨을 보여준다.
• $σ$ABm의 시스템 행렬 분산의 스펙트럼 반경은 초과 수렴(surplus consensus)보다 작으며, 이는 평균 수렴에서 더 빠른 수렴을 의미한다.
• 이 방법은 EXTRA, Aug-DGM, ADD-OPT 기반의 여러 기존 알고리즘들을 $σ$AB 프레임워크 아래 통합한다.
• 행-스토케스틱 및 열-스토케스틱 가중치의 사용은 이중 스트로케스틱 가중치의 보수성을 피하고 고유벡터 추정이 필요 없게 한다.
• 그리드 서치를 통해 스펙트럼 반경을 최소화하는 최적의 운동량 파rameter($\alpha^*$, $\beta^*$)를 도출하였으며, 이는 평균 수렴에서의 가속화 잠재력이 있음을 확인한다.