[논문 리뷰] BEER: Fast $O(1/T)$ Rate for Decentralized Nonconvex Optimization with Communication Compression

Haoyu Zhao, Boyue Li외 3명|arXiv (Cornell University)|2022. 01. 31.

Stochastic Gradient Optimization Techniques인용 수 6

한 줄 요약

이 논문은 통신 압축을 통합한 분산형 비볼록 최적화 알고리즘인 BEER를 제안한다. BEER는 기울기 추적 기법과 양자화 통신을 조합하여 O(1/T) 수렴 속도를 달성하며, 이는 압축되지 않은 방법과 동일한 속도이다. 이는 기울기나 이질성에 대한 강력한 가정을 제거함으로써 임의의 데이터 이질성 하에서도 더 빠른 수렴을 가능하게 한다.

ABSTRACT

Communication efficiency has been widely recognized as the bottleneck for large-scale decentralized machine learning applications in multi-agent or federated environments. To tackle the communication bottleneck, there have been many efforts to design communication-compressed algorithms for decentralized nonconvex optimization, where the clients are only allowed to communicate a small amount of quantized information (aka bits) with their neighbors over a predefined graph topology. Despite significant efforts, the state-of-the-art algorithm in the nonconvex setting still suffers from a slower rate of convergence $O((G/T)^{2/3})$ compared with their uncompressed counterpart, where $G$ measures the data heterogeneity across different clients, and $T$ is the number of communication rounds. This paper proposes BEER, which adopts communication compression with gradient tracking, and shows it converges at a faster rate of $O(1/T)$. This significantly improves over the state-of-the-art rate, by matching the rate without compression even under arbitrary data heterogeneity. Numerical experiments are also provided to corroborate our theory and confirm the practical superiority of BEER in the data heterogeneous regime.

연구 동기 및 목표

• 클라이언트 간의 효율적이고 저대역폭의 통신을 가능하게 하여 대규모 분산 기계학습에서의 통신 병목 현상을 해결한다.
• 기존의 통신 압축 알고리즘이 비볼록 환경에서 일반적으로 O((G/T)^{2/3})로 스케일링되는 느린 수렴 속도를 극복한다.
• 기울기의 유한성이나 기울기 이질성에 대한 강력한 가정을 제거함으로써 이전 방법의 적용 범위를 제한하는 요소를 제거한다.
• 클라이언트 간에 임의의 데이터 이질성이 존재하는 상황에서도 압축되지 않은 기준과 동일한 수렴 속도를 달성한다.
• Polyak-Łojasiewicz(PL) 조건 하에서 선형 수렴을 확립하여 알고리즘의 이론적 보장을 확장한다.

제안 방법

• 분산 네트워크에서 기울기 추적과 통신 압축을 통합한 새로운 알고리즘인 BEER를 도입한다.
• 모델 오차, 기울기 추적 오차, 분산을 포함하는 항을 갖는 리아푸노프 함수를 사용하여 수렴성을 분석한다.
• 전송 전에 기울기를 양자화하기 위해 압축 연산자를 적용하여 통신 비용을 감소시키면서도 수렴성을 유지한다.
• 선택된 리아푸노프 함수 하에서 수렴을 보장하는 양의 상수의 존재를 검증하기 위해 선형 시스템 분석을 수행한다.
• 리아푸노프 함수가 매 반복마다 감소하도록 보장하는 행렬 부등식 시스템을 해결하여 수렴 경계를 유도한다.
• 스텝 사이즈 및 압축 파rameter와 같은 알고리즘 파rameter를 조정함으로써, 비볼록 조건 하에서는 O(1/T) 수렴, PL 조건 하에서는 선형 수렴 속도를 확립한다.

실험 결과

연구 질문

• RQ1 분산 비볼록 최적화에서 통신 압축이 압축되지 않은 방법과 동일한 O(1/T) 수렴 속도를 달성할 수 있는가?
• RQ2 제안된 알고리즘 BEER는 기울기의 유한성 또는 기울기 이질성에 대한 강력한 가정이 필요 없음을 입증하는가?
• RQ3 압축을 통한 기울기 추적은 비볼록 환경에서 기존의 압축된 분산 알고리즘보다 더 빠른 수렴을 가능하게 하는가?
• RQ4 Polyak-Łojasiewicz(PL) 조건 하에서 BEER의 수렴 행동은 어떠한가?
• RQ5 BEER는 기존 방법과 비교해 실제 데이터 이질성 환경에서 어떻게 성능을 발휘하는가?

주요 결과

• BEER는 비볼록 설정에서 O(1/T) 수렴 속도를 달성하며, 기존 최고 성능의 O((G/T)^{2/3}) 수렴 속도보다 크게 향상되었다.
• G는 클라이언트 간 데이터 이질성을 측정하는 바, BEER는 임의의 데이터 이질성 하에서도 압축되지 않은 방법과 동일한 수렴 속도를 확보한다.
• Polyak-Łojasiewicz(PL) 조건 하에서 BEER는 선형 수렴을 보이며, 강력한 볼록성 조건 없이도 빠른 국소 수렴을 보여준다.
• 이론적 분석을 통해 BEER는 이전 연구에서 요구하던 기울기의 유한성 또는 이질성의 유한성 가정이 필요 없음을 확인하였다.
• 실제 데이터셋을 활용한 수치 실험을 통해 BEER의 실용적 우수성과 데이터 이질성 환경에서의 경쟁력 있는 성능을 입증하였다.
• 알고리즘의 수렴은 압축에 대해 강건하며, 일반적인 압축 연산자(유한 분산)에 대해서도 이론적 보장이 유지된다.