[논문 리뷰] 3PC: Three Point Compressors for Communication-Efficient Distributed Training and a Better Theory for Lazy Aggregation

Peter Richtárik, Igor Sokolov외 4명|arXiv (Cornell University)|2022. 02. 02.

Stochastic Gradient Optimization Techniques인용 수 7

한 줄 요약

이 논문은 최적화 과정 중에 진화하는 통신 효율적인 분산 학습을 위한 새로운 유형의 적응형 기울기 압축 메커니즘인 3PC(Three Point Compressors)를 소개한다. 동적 보상 압축기 선택과 정교화된 게으른 집계 이론을 통해 EF21 및 LAG와 같은 최첨단 기법들보다 낮은 통신 복잡도를 달성하며, 고정된 통신 예산과 고정된 비용 설정 하에서 다양한 데이터셋에서의 실험적 성능 향상을 보였다.

ABSTRACT

We propose and study a new class of gradient communication mechanisms for communication-efficient training -- three point compressors (3PC) -- as well as efficient distributed nonconvex optimization algorithms that can take advantage of them. Unlike most established approaches, which rely on a static compressor choice (e.g., Top-$K$), our class allows the compressors to {\em evolve} throughout the training process, with the aim of improving the theoretical communication complexity and practical efficiency of the underlying methods. We show that our general approach can recover the recently proposed state-of-the-art error feedback mechanism EF21 (Richtárik et al., 2021) and its theoretical properties as a special case, but also leads to a number of new efficient methods. Notably, our approach allows us to improve upon the state of the art in the algorithmic and theoretical foundations of the {\em lazy aggregation} literature (Chen et al., 2018). As a by-product that may be of independent interest, we provide a new and fundamental link between the lazy aggregation and error feedback literature. A special feature of our work is that we do not require the compressors to be unbiased.

연구 동기 및 목표

• 대규모 및 피어드 페더레이티드 학습 환경에서의 높은 통신 비용 문제를 해결하기 위해.
• Top-K와 같은 정적 압축 방법의 한계를 극복하기 위해 학습 중에 압축기를 진화시킬 수 있도록 하기 위해.
• 게으른 집계와 오차 피드백 메커니즘의 이론적 기반을 통합하고 개선하기 위해.
• 증명 가능하게 더 나은 수렴성과 낮은 통신 복잡도를 갖는 새로운 통신 효율 알고리즘 클래스를 개발하기 위해.
• 고정된 통신 예산 하에서 적응형 압축이 더 빠른 수렴을 이끌 수 있음을 경험적으로 입증하기 위해.

제안 방법

• 지역 기울기 동역학에 기반해 압축을 적응적으로 조정하는 3점 기반 기울기 압축 메커니즘의 클래스인 3PC를 제안한다.
• 적응형 압축과 게으른 집계를 통합한 일반화된 알고리즘 프레임워크를 도입하여, 압축 수준과 업데이트 트리거를 동적으로 조정할 수 있도록 한다.
• 편향이 없는 압축기의 필요성을 완화하는 새로운 이론적 분석을 개발하여 더 넓은 적용 가능성을 확보하고 수렴 보장을 향상시킨다.
• 오차 피드백과 게으른 집계를 융합한 하이브리드 메커니즘을 활용하며, 통신 빈도를 감소시키는 트리거 기반 업데이트 정책을 도입한다.
• 통신 효율성을 최적화하기 위해 여러 개의 2의 거듭제곱 스케일을 기반으로 정밀하게 조정된 스텝 사이즈 선택 전략을 사용한다.
• EF21 및 LAG를 특수 케이스로 포함하는 통합 프레임워크를 도입하여 체계적인 비교 및 향상을 가능하게 한다.

실험 결과

연구 질문

• RQ1 학습 중에 진화하는 적응형 압축 메커니즘은 Top-K와 같은 정적 방법보다 더 낮은 통신 복잡도를 달성할 수 있는가?
• RQ2 동적 압축과 게으른 집계의 통합이 이론적 수렴성과 실용적 효율성을 어떻게 향상시키는가?
• RQ3 오차 피드백과 게으른 집계를 연결하는 통합 이론적 프레임워크를 개발할 수 있으며, 이로 인해 더 강력한 수렴 보장을 확보할 수 있는가?
• RQ4 통신 효율적인 분산 학습에서 압축 수준과 업데이트 빈도 사이의 최적의 트레이드오프는 무엇인가?
• RQ5 제안된 방법은 다양한 데이터셋과 통신 예산에서 EF21 및 LAG보다 통신 효율성이 뛰어나게 성능을 뛰어넘는가?

주요 결과

• 3PC 기반의 제안된 알고리즘인 CLAG는 피싱, w6a, ijcnn1, a9a를 포함한 모든 테스트 데이터셋에서 EF21 및 LAG보다 낮은 통신 복잡도를 달성한다.
• 최소 통신 비용은 CLAG가 EF21나 LAG로 간소화되지 않는 압축 수준 $K$와 트리거 $\\-zeta$ 조합에서 항상 달성되며, 이는 적응형 설계의 이점을 보여준다.
• 클라이언트당 32 Mbits의 고정된 통신 비용 하에서, CLAG는 EF21 및 LAG보다 더 빠르게 수렴하며, w6a, ijcnn1, a9a 데이터셋에서 뚜렷한 향상을 보였다.
• 특히 $K < d$일 경우, CLAG는 EF21 및 LAG보다 워커당 전송 비트 수를 더 줄여 수렴을 달성함으로써 동적 압축의 장점을 입증했다.
• 논문에서 개발한 이론적 프레임워크는 압축기의 편향이 없는 조건을 완화함으로써 게으른 집계의 더 견고한 이론적 기반을 제공한다.
• 경험적 결과는 CLAG의 최적 설정이 EF21 및 LAG의 범주 외부에 있음을 확인하며, 적응형 압축기 진화의 효과성을 검증한다.