[논문 리뷰] Error Compensated Distributed SGD Can Be Accelerated

Xun Qian, Peter Richtárik외 1명|arXiv (Cornell University)|2020. 09. 30.

Stochastic Gradient Optimization Techniques참고 문헌 31인용 수 8

한 줄 요약

이 논문은 잔차 보정이 적용된 루프리 케티샤 방법을 제안하며, 임의의 압축기 수축 압축기와 함께 사용할 수 있는 새로운 가속화된 분산 SGD 알고리즘을 개발한다. 이는 오차 보정된 압축된 SGD에 대해 처음으로 가속화된 선형 수렴 속도를 확립하며, 실질적으로 통신 라운드 수를 크게 감소시키면서도 편향이 있는가 아닌가에 관계없이 이론적 보장을 유지한다.

ABSTRACT

Gradient compression is a recent and increasingly popular technique for reducing the communication cost in distributed training of large-scale machine learning models. In this work we focus on developing efficient distributed methods that can work for any compressor satisfying a certain contraction property, which includes both unbiased (after appropriate scaling) and biased compressors such as RandK and TopK. Applied naively, gradient compression introduces errors that either slow down convergence or lead to divergence. A popular technique designed to tackle this issue is error compensation/error feedback. Due to the difficulties associated with analyzing biased compressors, it is not known whether gradient compression with error compensation can be combined with Nesterov's acceleration. In this work, we show for the first time that error compensated gradient compression methods can be accelerated. In particular, we propose and study the error compensated loopless Katyusha method, and establish an accelerated linear convergence rate under standard assumptions. We show through numerical experiments that the proposed method converges with substantially fewer communication rounds than previous error compensated algorithms.

연구 동기 및 목표

• 통신 효율성을 향상시키기 위해 기울기 압축과 오차 보정을 통합한 가속화된 분산 최적화 방법을 개발한다.
• 톱K나 랜드K와 같은 편향이 있는 압축기 사용 시 오차 보정된 SGD를 가속화할 수 있는 이론적 격차를 메운다.
• 일반적인 압축기 클래스에 대해 표준 미끄럼과 볼록성 가정 하에 선형 수렴 속도를 확립한다.
• 실험적으로 제안된 방법이 이전 오차 보정 알고리즘보다 훨씬 적은 통신 라운드 수로 수렴하는 것을 입증한다.

제안 방법

• Nesterov의 가속화된 SGD를 분산 환경과 기울기 압축에 적합하게 변형한 오차 보정 루프리 케티샤 방법을 제안한다.
• 압축기로 인한 편향을 다루기 위해 새로운 리아푸노프 함수 분석 기법을 도입하여 수축 성질 하에 수렴 증명이 가능하도록 한다.
• 반복 단계 동안 양자화 오차를 추적하고 보정하기 위해 오차 피드백을 활용하여 압축에 의한 편향에도 불구하고 수렴을 보장한다.
• 적응형 스텝 사이즈와 오차 보정을 통합한 모멘타움 기반 업데이트 규칙을 사용하여 가속화를 달성한다.
• 비편향 및 편향이 있는 압축기 모두에 적용 가능한 통합 프레임워크를 사용해 수렴성을 분석하며, 토프K 및 랜드K를 포함한다.
• 기대 오차, 기울기 노름, 오차 피드백 항을 포함하는 재귀 부등식을 통해 수렴성을 확립한다.

실험 결과

연구 질문

• RQ1 톱K나 랜드K와 같은 편향이 있는 압축기 사용 시 오차 보정된 분산 SGD를 가속화할 수 있는가?
• RQ2 표준 미끄럼과 볼록성 가정 하에 오차 보정된 압축된 SGD에 대해 선형 수렴을 달성할 수 있는가?
• RQ3 오차 보정된 SGD의 수렴 속도를 케티샤와 같은 가속화 방법 수준으로 향상시킬 수 있는가?
• RQ4 제안된 방법은 기존 오차 보정 알고리즘에 비해 통신 효율성이 어떻게 향상되는가?
• RQ5 분산 최적화에서 오차 피드백과 네스테로프 타입의 가속화를 결합했을 때 이론적 영향은 무엇인가?

주요 결과

• 제안된 오차 보정 루프리 케티샤 방법은 임의의 수축 압축기와 함께 사용할 수 있는 가속화된 선형 수렴 속도를 확보한다.
• 이 방법은 오차 보정된 압축된 SGD에 대해 처음으로 가속화 이론적 보장을 확립하며, 오랫동안 남아있던 열린 문제를 해결한다.
• 수치 실험 결과, 이전 오차 보정 알고리즘보다 훨씬 적은 통신 라운드 수로 수렴하는 것으로 나타났다.
• 동일한 가정 하에 표준 케티샤와 동일한 수렴 속도를 달성함으로써, 압축 및 오차 보정에도 불구하고 가속화가 유지됨을 입증한다.
• 비편향 및 편향이 있는 압축기 모두에 대해 통합 프레임워크 하에 유효하며, 토프K 및 랜드K를 포함한다.
• 오차 피드백을 통해 오차 누적이 제한됨을 유지하여, 강력한 압축 조건에서도 안정적이고 빠른 수렴이 가능하다.