[논문 리뷰] Accordion: Adaptive Gradient Communication via Critical Learning Regime Identification

Saurabh Agarwal, Hongyi Wang외 3명|arXiv (Cornell University)|2020. 10. 29.

Domain Adaptation and Few-Shot Learning참고 문헌 49인용 수 15

한 줄 요약

Accordion는 기울기 노름 변화를 통해 식별된 핵심 학습 제도를 기반으로 동적으로 압축을 조정하는 적응형 기울기 압축 알고리즘입니다. 이 알고리즘은 저압축 학습과 유사한 모델 정확도를 유지하면서 분산 학습에서 정적 방법 대비 최대 5.5배 더 높은 압축률과 4.1배의 종단 간 속도 향상을 달성합니다.

ABSTRACT

Distributed model training suffers from communication bottlenecks due to frequent model updates transmitted across compute nodes. To alleviate these bottlenecks, practitioners use gradient compression techniques like sparsification, quantization, or low-rank updates. The techniques usually require choosing a static compression ratio, often requiring users to balance the trade-off between model accuracy and per-iteration speedup. In this work, we show that such performance degradation due to choosing a high compression ratio is not fundamental. An adaptive compression strategy can reduce communication while maintaining final test accuracy. Inspired by recent findings on critical learning regimes, in which small gradient errors can have irrecoverable impact on model performance, we propose Accordion a simple yet effective adaptive compression algorithm. While Accordion maintains a high enough compression rate on average, it avoids over-compressing gradients whenever in critical learning regimes, detected by a simple gradient-norm based criterion. Our extensive experimental study over a number of machine learning tasks in distributed environments indicates that Accordion, maintains similar model accuracy to uncompressed training, yet achieves up to 5.5x better compression and up to 4.1x end-to-end speedup over static approaches. We show that Accordion also works for adjusting the batch size, another popular strategy for alleviating communication bottlenecks.

연구 동기 및 목표

• 분산 학습에서 통신 효율성과 모델 정확도 사이의 근본적 상충 관계를 해결하기 위해.
• 기울기 노름 변화를 신호로 사용해 고압축이 성능을 떨어뜨리는 핵심 학습 제도를 식별하기 위해.
• 초기 설정이 필요 없는 저오버헤드의 일반화된 적응형 압축 전략을 설계하여 통신 효율성을 향상시키기 위해.
• 적응형 압축이 정적 압축보다 정확도와 속도 측면에서 뛰어나다는 것을 입증하기 위해.
• 적응형 배치 크기와 적응형 기울기 압축 간의 등가성 탐색하기

제안 방법

• Accordion는 기울기 노름 크기의 변화율을 모니터링하여 핵심 학습 제도를 탐지합니다.
• 핵심 제도 동안, 모델 성능을 유지하기 위해 저압축(예: PowerSGD의 랭크 2 또는 높은 K값의 Top-K)으로 전환합니다.
• 핵심 제도 외부에서는 통신을 줄이기 위해 고압축(예: 랭크 1 또는 낮은 K값의 Top-K)을 적용합니다.
• 이 알고리즘은 두 가지 압축 수준을 사용합니다: ℓ_low(안정적이고 정확도가 높음)와 ℓ_high(매우 압축됨), 전환은 기울기 노름 동역학에 의해 유도됩니다.
• 추가적인 초기 설정 조정 없이도 기울기 노름 변화만을 기반으로 압축 전환을 유도합니다.
• 이 방법은 스퍼스피케이션(Top-K) 및 저랭크 근사(PowerSGD) 기반의 압축 기술과 모두 호환됩니다.

실험 결과

연구 질문

• RQ1 적응형 압축을 통해 분산 학습에서 통신 효율성과 정확도 사이의 상충 관계를 극복할 수 있는가?
• RQ2 실제로 기울기 노름 동역학을 사용해 핵심 학습 제도를 신뢰성 있게 탐지할 수 있는가?
• RQ3 학습 단계에 따라 압축을 동적으로 조정하면 통신 효율성과 최종 모델 정확도가 향상되는가?
• RQ4 학습 결과 측면에서 적응형 배치 크기와 적응형 기울기 압축 간에 실질적인 등가성이 존재하는가?
• RQ5 Accordion는 상당히 줄어든 통신량을 사용하면서도 저압축 학습과 성능이 동등한 성능을 달성할 수 있는가?

주요 결과

• Accordion는 정적 압축 방법 대비 최대 5.5배 더 높은 압축률과 종단 간 4.1배의 속도 향상을 달성하면서도 테스트 정확도를 유지합니다.
• Cifar-100에서 ResNet-18을 학습한 결과, Accordion는 저압축(랭크 2) 학습과 동일한 정확도를 달성하지만, 전송하는 부동소수점 수치를 3.7배 줄였습니다.
• 저압축 학습과 동일한 통신 예산을 가진 상황에서 랭크 1 PowerSGD는 랭크 2의 정확도를 따라오지 못하지만, Accordion는 통신량을 줄임에도 불구하고 성능을 달성합니다.
• Cifar-100에서 VGG-19를 학습한 결과, ℓ_low = 랭크 2, ℓ_high = 랭크 4로 설정한 Accordion는 랭크 4 학습과 동일한 정확도를 달성하면서도 통신량을 2.3배 줄였습니다.
• 이 방법은 Top-K 스퍼스피케이션과 PowerSGD 저랭크 압축 양쪽 모두에서 효과적으로 작동하여 광범위한 적용 가능성을 보여줍니다.
• 기울기 노름의 변화율은 핵심 학습 제도를 식별하는 신뢰할 수 있는 지표로 기능하며, 정확한 압축 전환을 가능하게 합니다.