[논문 리뷰] CANITA: Faster Rates for Distributed Convex Optimization with Communication Compression

Zhize Li, Peter Richtárik|arXiv (Cornell University)|2021. 07. 20.

Stochastic Gradient Optimization Techniques참고 문헌 41인용 수 6

한 줄 요약

이 논문은 통신 압축과 네스터로프 스타일 가속을 조합한 분산 볼록 최적화를 위한 새로운 압축 및 가속된 경사 하강법인 CANITA를 제안한다. ANITA 프레임워크를 활용하고 새로운 분석을 도입함으로써 유리한 조건 하에서 $O\left(\sqrt{\frac{L}{\epsilon}}\right)$의 더 빠른 수렴 속도를 달성하며, 기존의 상태최고 수준의 비가속화 수렴 속도인 $O\left(\frac{L}{\epsilon}\right)$보다 크게 향상된다. 이는 압축이 적용된 분산 문제에 대해 성립한다.

ABSTRACT

Due to the high communication cost in distributed and federated learning, methods relying on compressed communication are becoming increasingly popular. Besides, the best theoretically and practically performing gradient-type methods invariably rely on some form of acceleration/momentum to reduce the number of communications (faster convergence), e.g., Nesterov's accelerated gradient descent (Nesterov, 1983, 2004) and Adam (Kingma and Ba, 2014). In order to combine the benefits of communication compression and convergence acceleration, we propose a \emph{compressed and accelerated} gradient method based on ANITA (Li, 2021) for distributed optimization, which we call CANITA. Our CANITA achieves the \emph{first accelerated rate} $O\bigg(\sqrt{\Big(1+\sqrt{\frac{ω^3}{n}}\Big)\frac{L}ε} + ω\big(\frac{1}ε\big)^{\frac{1}{3}}\bigg)$, which improves upon the state-of-the-art non-accelerated rate $O\left((1+\fracω{n})\frac{L}ε + \frac{ω^2+ω}{ω+n}\frac{1}ε ight)$ of DIANA (Khaled et al., 2020) for distributed general convex problems, where $ε$ is the target error, $L$ is the smooth parameter of the objective, $n$ is the number of machines/devices, and $ω$ is the compression parameter (larger $ω$ means more compression can be applied, and no compression implies $ω=0$). Our results show that as long as the number of devices $n$ is large (often true in distributed/federated learning), or the compression $ω$ is not very high, CANITA achieves the faster convergence rate $O\Big(\sqrt{\frac{L}ε}\Big)$, i.e., the number of communication rounds is $O\Big(\sqrt{\frac{L}ε}\Big)$ (vs. $O\big(\frac{L}ε\big)$ achieved by previous works). As a result, CANITA enjoys the advantages of both compression (compressed communication in each round) and acceleration (much fewer communication rounds).

연구 동기 및 목표

• 통신 압축과 가속을 조합한 분산 볼록 최적화의 이론적 격차를 메우기 위해.
• 각 라운드에서 압축된 통신을 유지하면서 더 빠른 수렴 속도를 달성하는 방법을 설계하기 위해.
• 압축 연산자를 갖는 분산 환경에 ANITA 가속 프레임워크를 확장하기 위해.
• 일般 볼록 영역에서 기존 방법들에 비해 증명 가능하게 향상된 통신 복잡도를 확립하기 위해.

제안 방법

• CANITA는 압축된 경사를 갖는 분산 최적화에 ANITA 가속 프레임워크를 적응시켜 유도된다.
• 이 방법은 $\omega$로 매개변수화된 압축 연산자를 사용하며, $\omega$가 클수록 더 높은 압축을 의미한다.
• 최적해와의 거리, 경사 추적, 압축 오차를 포함하는 새로운 리아푸노프 함수를 구성하여 수렴성을 분석한다.
• 수렴 속도를 가속하기 위해 적응형 스텝 사이즈와 모멘타 파rameter를 갖는 모멘타 유사 업데이트를 사용한다.
• 분석을 통해 압축 및 가속 파rameter에 따라 기대 하위최적성의 상한을 제시하는 재귀 부등식을 확립한다.
• 핵심 기술 레이마는 볼록성과 미끄러움 가정을 활용하여 반복 간 리아푸노프 함수의 기대 감소를 상한으로 제시한다.

실험 결과

연구 질문

• RQ1 통신 압축과 수렴 가속은 분산 볼록 최적화에서 이론적으로 조합될 수 있는가?
• RQ2 압축과 가속을 동시에 사용할 때 도달 가능한 최적의 수렴 속도는 무엇인가?
• RQ3 압축이 존재하는 분산 환경에서 가속 수렴 속도 $O(\sqrt{L/\epsilon})$는 유지되는가?
• RQ4 압축 파rameter $\omega$와 디바이스 수 $n$은 수렴 속도에 어떤 영향을 미치는가?

주요 결과

• CANITA는 $O\left(\sqrt{\left(1+\sqrt{\frac{\omega^3}{n}}\right)\frac{L}{\epsilon}} + \omega\left(\frac{1}{\epsilon}\right)^{1/3}\right)$의 수렴 속도를 달성하며, 이는 비가속화 DIANA 방법보다 향상된다.
• 일반적으로 $n$이 크거나 $\omega$가 작을 경우, CANITA는 가속 수렴 속도 $O\left(\sqrt{\frac{L}{\epsilon}}\right)$를 달성하여 통신 라운드 수를 $O(L/\epsilon)$에서 $O(\sqrt{L/\epsilon})$로 감소시킨다.
• 이 방법은 압축된 통신과 가속의 이점을 증명 가능하게 조합하여, 압축 효율성을 희생시키지 않고도 더 적은 통신 라운드를 가능하게 한다.
• 분석을 통해 압축에 기인한 분산은 모멘타와 경사 추적을 고려하는 새로운 리아푸노프 함수를 통해 통제됨을 규명하였다.
• 표준 가정인 목적 함수의 $L$-스무쓰니스와 볼록성 하에서 수렴 속도 향상가 가능하다.