[논문 리뷰] On the Benefits of Multiple Gossip Steps in Communication-Constrained Decentralized Optimization

Abolfazl Hashemi, Anish Acharya외 4명|arXiv (Cornell University)|2020. 11. 20.

Distributed Control Multi-Agent Systems참고 문헌 58인용 수 5

한 줄 요약

이 논문은 임의의 통신 압축을 적용할 때도 경사 업데이트 간에 다수의 가소(gossip) 스텝을 수행함으로써 수렴 속도를 높이는 통신 효율적인 분산 최적화 알고리즘 DeLi-CoCo를 제안한다. 폴리악-로자에브스키 조건을 만족하는 부드러운 비볼록 목표 함수에 대해 $O(\log \frac{1}{\epsilon})$ 개의 가소 스텝을 통해 최적 해에서 $\epsilon$ 이내로 선형 수렴을 보장하며, 이는 압축이 없는 분산 경사 하강법(DGD)과 동일한 수렴 속도를 달성하면서도, 증가된 가소 스텝 수를 통해 임의로 감소된 부분 최적화 오차를 달성할 수 있다.

ABSTRACT

In decentralized optimization, it is common algorithmic practice to have nodes interleave (local) gradient descent iterations with gossip (i.e. averaging over the network) steps. Motivated by the training of large-scale machine learning models, it is also increasingly common to require that messages be {\em lossy compressed} versions of the local parameters. In this paper, we show that, in such compressed decentralized optimization settings, there are benefits to having {\em multiple} gossip steps between subsequent gradient iterations, even when the cost of doing so is appropriately accounted for e.g. by means of reducing the precision of compressed information. In particular, we show that having $O(\log\frac{1}ε)$ gradient iterations {with constant step size} - and $O(\log\frac{1}ε)$ gossip steps between every pair of these iterations - enables convergence to within $ε$ of the optimal value for smooth non-convex objectives satisfying Polyak-Łojasiewicz condition. This result also holds for smooth strongly convex objectives. To our knowledge, this is the first work that derives convergence results for nonconvex optimization under arbitrary communication compression.

연구 동기 및 목표

• 압축된 매개변수 교환을 동반하는 분산 기계 학습에서 높은 통신 비용 문제를 해결하기 위해.
• 통신 제약 조건 하에서 경사 업데이트 간에 다수의 가소 스텝을 수행할 경우 수렴 효율성이 향상되는지 조사하기 위해.
• 강력한 압축 조건 하에서도 빠른 수렴을 유지할 수 있는 이론적으로 타당한 알고리즘을 개발하기 위해.
• 편향이 있거나 없거나 상관없이 임의의 통신 압축 연산자에 대해 비볼록 목표 함수에 대한 수렴 보장을 수립하기 위해.
• 고정된 예산 하에서 가시 스텝 수를 늘리고 압축 정밀도를 낮춤으로써 통신 효율성을 향상시킬 수 있음을 보여주기 위해.

제안 방법

• 각 국부적 경사 업데이트 이후 $Q > 1$ 개의 가소 스텝을 수행하는 반복적 분산 알고리즘인 DeLi-CoCo를 제안한다.
• 가시 스텝 단계에 임의의 통신 압축(예: 양자화, 희소화)을 통합하여 국부적 매개변수의 손실 있는 전송을 허용한다.
• 노드 간에 교환되는 메시지에 압축을 적용하면서도, 네트워크 그래프 기반의 공통 합의 메커니즘을 통해 국부적 추정치를 평균화한다.
• 가시 스텝 간의 압축으로 인한 오차를 추적하고 보정하기 위해 새로운 오차 피드백 메커니즘을 도입한다.
• 폴리악-로자에브스키(PL) 조건을 사용하여 수렴 한계를 유도함으로써, 비볼록 목표 함수에 대해 선형 수렴을 가능하게 한다.
• 가시 스텝 수 $Q$ 와 압축 정밀도 사이의 상호 교환 관계를 분석하여, $Q$ 를 증가시킬수록 부분 최적화 오차 반경이 감소함을 보여준다.

실험 결과

연구 질문

• RQ1 경사 업데이트 간에 다수의 가시 스텝을 수행할 경우, 통신 제약 조건 하에서 분산 최적화의 수렴 성능이 향상되는가?
• RQ2 가시 스텝 수를 늘리면 정밀도가 낮은 압축을 사용해도 수렴 성능을 유지하거나 향상시킬 수 있는가?
• RQ3 편향이 있는 연산자 포함 임의의 통신 압축 조건 하에서도 비볼록 목표 함수에 대해 선형 수렴을 달성할 수 있는가?
• RQ4 가시 스텝 수 $Q$ 는 해의 부분 최적화 오차 반경에 어떤 영향을 미치는가?
• RQ5 가시 스텝 수와 압축 정밀도 사이에 통신 효율성을 향상시키는 이론적 상호 교환 관계가 존재하는가?

주요 결과

• 부드러운 비볼록 목표 함수에 대해 폴리악-로자에브스키 조건을 만족할 경우, DeLi-CoCo는 $O(\log \frac{1}{\epsilon})$ 개의 경사 반복과 반복당 $O(\log \frac{1}{\epsilon})$ 개의 가시 스텝을 사용해 최적 해에서 $\epsilon$ 이내로 선형 수렴을 달성한다.
• 압축이 없는 분산 경사 하강법(DGD)과 동일한 수렴 속도를 달성하며, 이는 임의의 압축 연산자 조건 하에서도 성립한다.
• 가시 스텝 수 $Q$ 를 증가시킴으로써 부분 최적화 오차 반경을 임의로 감소시킬 수 있으며, 이는 기존의 DGD보다 향상된 성능을 의미한다.
• 고정된 통신 예산 하에서 $Q$ 를 늘리고 압축 정밀도를 낮추면 이론적으로나 수치적으로나 더 나은 수렴 성능을 달성할 수 있다.
• 편향이 있거나 없거나 상관없이 압축 연산자 조건 하에서도 알고리즘이 수렴을 유지하며, 이는 이전 결과를 비볼록 설정으로 확장한 것이다.
• 이론적 분석을 통해 압축으로 인한 오차가 유한하며 시간이 지남에 따라 감소함을 확인하여 안정적이고 빠른 수렴을 가능하게 한다.