[논문 리뷰] Decentralized Composite Optimization with Compression

Yao Li, Xiaorui Liu외 3명|arXiv (Cornell University)|2021. 08. 10.

Stochastic Gradient Optimization Techniques참고 문헌 69인용 수 4

한 줄 요약

이 논문은 비스무스 정규화를 갖는 확률적 복합 최적화를 위한 통신 압축을 통합한 새로운 분산형 프록시 그래디언트 알고리즘인 Prox-LEAD를 제안한다. 일반적인 확률적 및 유한합 설정 모두에서 선형 수렴를 달성하며, 압축 정밀도가 임의일지라도 성능을 저하시키지 않고 통신 비용을 크게 감소시켜, 비스무스 정규화가 있는 분산 머신러닝에 매우 효율적이다.

ABSTRACT

Decentralized optimization and communication compression have exhibited their great potential in accelerating distributed machine learning by mitigating the communication bottleneck in practice. While existing decentralized algorithms with communication compression mostly focus on the problems with only smooth components, we study the decentralized stochastic composite optimization problem with a potentially non-smooth component. A \underline{Prox}imal gradient \underline{L}in\underline{EA}r convergent \underline{D}ecentralized algorithm with compression, Prox-LEAD, is proposed with rigorous theoretical analyses in the general stochastic setting and the finite-sum setting. Our theorems indicate that Prox-LEAD works with arbitrary compression precision, and it tremendously reduces the communication cost almost for free. The superiorities of the proposed algorithms are demonstrated through the comparison with state-of-the-art algorithms in terms of convergence complexities and numerical experiments. Our algorithmic framework also generally enlightens the compressed communication on other primal-dual algorithms by reducing the impact of inexact iterations, which might be of independent interest.

연구 동기 및 목표

• 비스무스 정규화를 포함하는 문제에 대해 통신 압축을 통한 분산 최적화의 격차를 메우기 위해.
• 압축을 프록시 그래디언트 방법과 통합한 통일된 알고리즘 프레임워크를 개발하기 위해.
• 임의의 압축 정밀도 하에서도 압축되지 않은 경우와 비교해 선형 수렴 속도를 달성하기 위해.
• 일반적인 확률적 및 유한합 설정 모두에서 통신 비용과 수렴 속도 측면에서 뛰어난 성능을 보여주기 위해.
• 기존의 분산 알고리즘과의 연결 고리를 구축하고, 원-쌍대 방법에 대한 압축 통신을 가능하게 하기 위해.

제안 방법

• 임의의 압축 연산자를 사용하는 통신 압축 기능을 갖춘 분산형 프록시 그래디언트 알고리즘인 Prox-LEAD를 제안한다.
• 수렴 속도를 가속하기 위해, SAGA 및 LSVRG와 같은 분산된 프레임워크에 변동성 감소 기법을 통합한다.
• 데이터 전송을 최소화하기 위해 연결된 네트워크 토폴로지에서 압축된 통신을 통한 국소 업데이트 메커니즘을 사용한다.
• 양자화 또는 희소화로 인한 오차를 보장하는 일반적인 압축 연산자를 적용하여 수렴성을 유지한다.
• 일반적인 설정에서 정확한 해로의 O(1/k) 수렴을 달성하기 위해 감소하는 스텝 사이즈 전략을 적용한다.
• 이론적 분석은 경계가 없는 기울기 가정 없이도 비스무스 정규화와 이질적인 데이터 분포를 고려한다.

실험 결과

연구 질문

• RQ1 비스무스 정규화를 포함하는 복합 최적화를 위한 분산 프록시 그래디언트 방법에 통신 압축을 효과적으로 통합할 수 있는가?
• RQ2 제안된 알고리즘이 임의의 압축 정밀도 하에서도 선형 수렴를 유지하는가?
• RQ3 Prox-LEAD는 통신 비용과 수렴 속도 측면에서 압축되지 않은 알고리즘과 최신 압축 알고리즘과 비교해 어떻게 성능을 내는가?
• RQ4 분산 비스무스 최적화에서 압축된 통신과 함께 변동성 감소 기법을 성공적으로 조합할 수 있는가?
• RQ5 데이터 이질성과 비스무스 정규화가 존재할 경우 압축이 수렴에 어떤 영향을 미치는가?

주요 결과

• Prox-LEAD는 변동성 감소 변형(LSVRG 및 SAGA)을 사용할 경우, 압축 조건 하에서도 여전히 유한합 설정에서 최적 해로의 선형 수렴를 달성한다.
• 일반적인 확률적 설정에서는 Prox-LEAD가 최적 해의 이웃 영역으로 선형 수렴하며, 감소하는 스텝 사이즈를 적용하면 정확한 해로의 O(1/k) 수렴를 달성한다.
• 경계가 없는 기울기 또는 데이터 이질성 가정 없이도, 압축되지 않은 경우와 비교해 수렴 속도를 유지한다.
• 실험 결과에 따르면 통신 압축은 최대 16배(예: 2비트 대 32비트)의 통신 비용 감소를 이끌어내며 성능 저하가 최소화된다.
• 2비트 Prox-LEAD는 반복 횟수와 기울기 평가 수에서 32비트 버전과 동일한 수렴 속도를 보이며, 훨씬 적은 통신 비트를 사용한다.
• 이 프레임워크는 다른 원-쌍대 알고리즘으로 일반화 가능하며, 압축된 통신을 통해 부정확한 반복의 영향을 줄인다.