[논문 리뷰] Accelerated Gradient Tracking over Time-varying Graphs for Decentralized Optimization

Huan Li, Zhouchen Lin|arXiv (Cornell University)|2021. 04. 06.

Distributed Control Multi-Agent Systems참고 문헌 65인용 수 13

한 줄 요약

이 논문은 시간에 따라 변화하는 그래프에서 분산 최적화를 위한 가속 경사 추적(Acc-GT)을 제안하며, 기존의 가속 경사 추적 프레임워크를 동적 네트워크로 확장한다. 비강한 볼록 문제의 경우 최적 수렴 속도 $\mathcal{O}\left(\left(\frac{\gamma}{1-\sigma_{\gamma}}\right)^2\sqrt{\frac{L}{\epsilon}}\right)$ 와 강한 볼록 문제의 경우 $\mathcal{O}\left(\left(\frac{\gamma}{1-\sigma_{\gamma}}\right)^{1.5}\sqrt{\frac{L}{\mu}}\log\frac{1}{\epsilon}\right)$ 를 달성하며, 네트워크가 정적일 경우 전통적인 중심화된 가속 경사 하강법의 결과와 일치한다.

ABSTRACT

Decentralized optimization over time-varying graphs has been increasingly common in modern machine learning with massive data stored on millions of mobile devices, such as in federated learning. This paper revisits the widely used accelerated gradient tracking and extends it to time-varying graphs. We prove that the practical single loop accelerated gradient tracking needs $O((\fracγ{1-σ_γ})^2\sqrt{\frac{L}ε})$ and $O((\fracγ{1-σ_γ})^{1.5}\sqrt{\frac{L}μ}\log\frac{1}ε)$ iterations to reach an $ε$-optimal solution over time-varying graphs when the problems are nonstrongly convex and strongly convex, respectively, where $γ$ and $σ_γ$ are two common constants charactering the network connectivity, $L$ and $μ$ are the smoothness and strong convexity constants, respectively, and one iteration corresponds to one gradient oracle call and one communication round. Our convergence rates improve significantly over the ones of $O(\frac{1}{ε^{5/7}})$ and $O((\frac{L}μ)^{5/7}\frac{1}{(1-σ)^{1.5}}\log\frac{1}ε)$, respectively, which were proved in the original literature of accelerated gradient tracking only for static graphs, where $\fracγ{1-σ_γ}$ equals $\frac{1}{1-σ}$ when the network is time-invariant. When combining with a multiple consensus subroutine, the dependence on the network connectivity constants can be further improved to $O(1)$ and $O(\fracγ{1-σ_γ})$ for the gradient oracle and communication round complexities, respectively. When the network is static, by employing the Chebyshev acceleration, our complexities exactly match the lower bounds without hiding any poly-logarithmic factor for both nonstrongly convex and strongly convex problems.

연구 동기 및 목표

• 시간에 따라 변화하는 그래프에 대한 가속 분산 최적화 방법의 부족, 특히 동적 장치 연결성을 가지는 피어드 학습 환경에서의 문제를 해결하기 위해.
• 이전에 정적 그래프에서만 분석된 가속 경사 추적 프레임워크를 시간에 따라 변화하는 네트워크 구조로 확장하기 위해.
• 중앙화된 가속 경사 하강법의 하한선과 일치하는 수렴 복잡도를 확보하기 위해, 정밀도 $\epsilon$ 과 조건 수 $L/\mu$ 에 대한 의존성에 중점을 두기 위해.
• 다중 공감 하위루틴과 체비셰프 가속을 통합하여 통신 및 계산 효율성을 향상시키기 위해.

제안 방법

• 시간에 따라 변화하는 상수 $\gamma$ 와 $\sigma_{\gamma}$ 를 통해 네트워크 연결성을 모델링하여, 가속 경사 추적 알고리즘을 시간에 따라 변화하는 그래프로 확장한다.
• 동적 네트워크 조건 하에서도 수렴 보장을 유지하는 단일 루프 구현의 가속 경사 추적을 도입한다.
• 다양한 네트워크 변화 상황에서도 에이전트 간 평균 경사도를 추정할 수 있도록 경사 추적을 활용하여 글로벌 경사 방향에 대한 공감을 가능하게 한다.
• 다중 공감 하위루틴을 사용하여 네트워크 연결성 상수에 대한 의존도를 분리함으로써 통신 복잡도를 향상시킨다.
• 체비셰프 가속을 적용하여 정적 그래프의 알려진 하한선과 일치하는 밀도 높은 수렴 경계를 달성한다.
• 리아푸노프 함수를 사용한 수렴 분석을 통해 부드러움과 볼록성 가정 하에 목적 함수 오차 및 공감 오차에 대한 경계를 수립한다.

실험 결과

연구 질문

• RQ1 가속 경사 추적을 시간에 따라 변화하는 그래프로 효과적으로 확장할 수 있으며, 최적 수렴 속도를 유지할 수 있는가?
• RQ2 동적 환경에서 수렴 복잡도가 네트워크 연결성 파라미터 $\gamma$ 와 $\sigma_{\gamma}$ 에 대해 최적의 의존성을 가지는가?
• RQ3 네트워크가 정적일 경우, 알고리즘이 중심화된 가속 경사 하강법의 하한선과 일치하는 수렴 속도를 달성할 수 있는가?
• RQ4 다중 공감 하위루틴의 사용이 시간에 따라 변화하는 그래프에서 네트워크 연결성에 대한 의존도에 어떤 영향을 미치는가?
• RQ5 체비셰프 가속이 비강한 볼록 및 강한 볼록 문제 모두에 대해 알려진 하한선을 충족시키는 데 기여하는가?

주요 결과

• 제안된 Acc-GT는 비강한 볼록 문제에 대해 $\mathcal{O}\left(\left(\frac{\gamma}{1-\sigma_{\gamma}}\right)^2\sqrt{\frac{L}{\epsilon}}\right)$ 의 복잡도를 달성하며, 이는 정적 그래프에서의 이전 $\mathcal{O}\left(\frac{1}{\epsilon^{5/7}}\right)$ 의 경계에 비해 크게 향상된 결과이다.
• 강한 볼록 문제의 경우, $\mathcal{O}\left(\left(\frac{\gamma}{1-\sigma_{\gamma}}\right)^{1.5}\sqrt{\frac{L}{\mu}}\log\frac{1}{\epsilon}\right)$ 의 복잡도를 달성하며, 이는 이전의 $\mathcal{O}\left(\left(\frac{L}{\mu}\right)^{5/7}\frac{1}{(1-\sigma)^{1.5}}\log\frac{1}{\epsilon}\right)$ 의 경계에 비해 향상된 결과이다.
• 다중 공감 하위루틴을 통합할 경우, 계산 복잡도는 $\mathcal{O}(1)$ 이 되고 통신 복잡도는 $\mathcal{O}\left(\frac{\gamma}{1-\sigma_{\gamma}}\right)$ 가 되어 네트워크 연결성에 대한 의존도가 감소한다.
• 정적 네트워크일 경우, 체비셰프 가속을 통해 알고리즘이 비강한 볼록 및 강한 볼록 케이스 모두에서 알려진 하한선을 숨겨진 다중로그함수 요소 없이 정확히 충족시킨다.
• 실험 결과, 이웃 수 $d$ 를 2에서 20으로 증가시키는 것은 목적 함수 오차 감소 속도에 미미한 영향을 미치지만, 공감 오차는 $d=20$ 에서 더 빠르게 감소함을 보여, 공감 역학이 향상됨을 시사한다.
• 이론적 분석을 통해 공감 오차 감소 속도가 증명 과정에서 엄밀하게 경계되지 않았음을 확인하였으며, 더 엄밀한 수렴 분석의 여지가 있음을 시사한다.