[논문 리뷰] A Double Residual Compression Algorithm for Efficient Distributed Learning

Xiaorui Liu, Li Yao외 2명|arXiv (Cornell University)|2019. 10. 16.

Stochastic Gradient Optimization Techniques참고 문헌 30인용 수 14

한 줄 요약

이 논문은 분산 확률적 경사하강법에서 기울기와 모델 파라미터를 동시에 압축하여 통신 비용을 95% 이상 감소시키는 이중 잔차 압축 알고리즘 DORE를 제안한다. 수렴 속도와 모델 정확도를 유지하면서도, 강력한 볼록 및 비볼록 목표 함수에 대해 이론적 보장이 있는 잔차 기반 압축을 사용하며, 유한 기울기 가정이 필요하지 않다.

ABSTRACT

Large-scale machine learning models are often trained by parallel stochastic gradient descent algorithms. However, the communication cost of gradient aggregation and model synchronization between the master and worker nodes becomes the major obstacle for efficient learning as the number of workers and the dimension of the model increase. In this paper, we propose DORE, a DOuble REsidual compression stochastic gradient descent algorithm, to reduce over $95\%$ of the overall communication such that the obstacle can be immensely mitigated. Our theoretical analyses demonstrate that the proposed strategy has superior convergence properties for both strongly convex and nonconvex objective functions. The experimental results validate that DORE achieves the best communication efficiency while maintaining similar model accuracy and convergence speed in comparison with start-of-the-art baselines.

연구 동기 및 목표

• 고용량 기울기 및 모델 동기화로 인한 분산 기계학습의 통신 병목 현상 해결.
• 이전 연구가 기울기만 압축하는 데 국한된 점을 극복하기 위해 효과적인 모델 압축 도입.
• 유한 기울기 요구 조건 없이도 수렴을 보장하는 이론적으로 탄탄한 방법 개발.
• 최신 기준 대비 모델 정확도 또는 수렴 속도를 희생시키지 않은 초우수한 통신 효율성 확보.

제안 방법

• 각 반복에서 스토哈스틱 기울기와 모델 파라미터 업데이트를 동시에 압축하는 이중 잔차 압축 메커니즘 제안.
• 이전 모델/기울기와 현재 값의 차이를 압축하는 잔차 기반 압축 전략을 사용해 중복을 줄임.
• 전송 중 정보 손실을 최소화하기 위해 잔차 성분에 비편향 양자화 및 희소화 기법 적용.
• 모든 기울기와 모델 파라미터가 마스터 노드로 전송되기 전에 압축되는 파라미터 서버 프레임워크에 압축 통합.
• 두 단계 압축 프로세스 설계: 먼저 기울기 잔차를 압축하고, 그 다음 모델 파라미터 잔차를 압축하여 고압축 비율 달성.
• 이론적 분석을 통해 강력한 볼록 및 비볼록 목표 함수에 대해 수렴을 보장하며, 수렴 속도가 기울기 범위에 의존하지 않음.

실험 결과

연구 질문

• RQ1 기울기와 모델 파라미터의 동시 압축이 분산 학습에서 통신 오버헤드를 크게 줄일 수 있는가?
• RQ2 유한 기울기 요구 조건 없이도 제안된 이중 잔차 압축 전략이 약한 가정 하에 수렴 성질을 유지하는가?
• RQ3 DORE의 통신 효율성은 볼록 및 비볼록 최적화 설정에서 최신 기준 방법과 비교해 어떻게 되는가?
• RQ4 DORE는 고압축 비율과 낮은 오차 누적을 유지하면서 볼록 케이스에서 선형 수렴을 달성할 수 있는가?
• RQ5 압축 파라미터(예: 블록 크기, 압축 수준)가 알고리즘의 안정성 및 성능에 미치는 영향은 무엇인가?

주요 결과

• DORE는 정밀도가 높은 SGD 대비 전체 통신 비용을 95% 이상 감소시켜 통신 병목 현상을 크게 완화한다.
• 완전 기울기 조건 하의 볼록 케이스에서 DORE는 SGD 및 DIANA와 동일한 선형 수렴을 달성하며, QSGD, MEM-SGD 및 DoubleSqueeze는 최적 해의 이웃으로만 수렴한다.
• 비볼록 환경(LeNet의 MNIST 및 ResNet18의 CIFAR10)에서 DORE는 정밀도가 높은 SGD 및 기타 양자화 기준과 유사한 수렴 속도와 테스트 정확도를 확보한다.
• 동일한 압축 방법을 사용할 때 DoubleSqueeze보다 수렴 속도가 빠르며, 톱-k 희소화를 사용할 경우 DoubleSqueeze와 성능이 유사하다.
• 저대역폭 환경에서 반복 시간 비용이 크게 감소하여 DORE가 실제 네트워크 환경에서의 이점을 입증한다.
• 기울기 잔차 및 모델 잔차의 노름이 지수적으로 감소함을 확인하여 실험에서 관찰된 선형 수렴 행동을 설명한다.