[논문 리뷰] Adaptive Gradient Quantization for Data-Parallel SGD

Fartash Faghri, Iman Tabrizian외 4명|arXiv (Cornell University)|2020. 10. 23.

Advanced Neural Network Applications참고 문헌 32인용 수 29

한 줄 요약

이 논문은 데이터 병렬 SGD를 위한 두 가지 적응형 그래디언트 양자화 방법인 적응형 레벨 양자화(Adaptive Level Quantization, ALQ)와 적응형 승수 양자화(Adaptive Multiplier Quantization, AMQ)를 제안한다. 이 방법들은 학습 중에 변화하는 그래디언트 통계에 따라 동적으로 양자화 수준을 조정함으로써, 저대역폭 환경에서 CIFAR-10에서 약 2%의 검증 정확도 향상과 ImageNet에서 약 1%의 향상을 달성한다. 또한 고정 양자화 방식보다 하이퍼파라미터 선택에 훨씬 더 강건하다.

ABSTRACT

Many communication-efficient variants of SGD use gradient quantization schemes. These schemes are often heuristic and fixed over the course of training. We empirically observe that the statistics of gradients of deep models change during the training. Motivated by this observation, we introduce two adaptive quantization schemes, ALQ and AMQ. In both schemes, processors update their compression schemes in parallel by efficiently computing sufficient statistics of a parametric distribution. We improve the validation accuracy by almost 2% on CIFAR-10 and 1% on ImageNet in challenging low-cost communication setups. Our adaptive methods are also significantly more robust to the choice of hyperparameters.

연구 동기 및 목표

• 데이터 병렬 SGD에서 고정된 양자화 방식의 한계를 해결하기 위해, 학습 도중 변화하는 그래디언트 통계에 적응하지 못하는 문제를 해결한다.
• 모델 정확도를 훼손하지 않으면서 분산 딥러닝의 통신 비용을 줄이기 위해 노력한다.
• 그래디언트 분포의 충분통계를 사용하여 워커들 간에 병렬적으로 압축 체계를 업데이트하는 적응형 양자화 방법을 개발한다.
• 동적으로 양자화 수준을 조정하여 과도한 양자화 분산을 최소화함으로써 수렴성과 강건성을 향상시킨다.
• CIFAR-10과 ImageNet과 같은 표준 벤치마크에서 저통신 환경에서의 성능 향상을 입증한다.

제안 방법

• ALQ는 추정된 그래디언트 분포 파rameter를 기반으로 최적의 양자화 수준을 계산하여 과도한 양자화 분산을 최소화한다. 이는 매개변수 모델을 사용한다.
• AMQ는 양자화 수준을 지수적으로 간격을 두고 배치한 값으로 모델링하고, 단일 승수 매개변수를 최적화하여 분산을 최소화함으로써 효율적인 계산을 가능하게 한다.
• 양자화 체계를 업데이트하기 위해 워커들 간에 병렬로 충분통계를 계산하며, 전역 동기화가 필요로 하지 않는다.
• 이 방법들은 좌표별로 비편향된 양자화를 위해 설계되었으며, 일반 정규화 하에 임의의 양자화 수준을 지원한다.
• 모든 적응형 양자화 방법(예: ALQ와 AMQ 포함)에 대해 유효한 과도한 분산과 통신 비용에 대한 이론적 경계를 설정한다.
• 배치 처리가 아닌 온라인 스트리밍 통계를 사용함으로써, 이전의 적응형 방법(예: ZipML)에 비해 높은 계산 비용을 피한다.

실험 결과

연구 질문

• RQ1 학습 도중 변화하는 양자화 방법이 고정된 양자화 방식보다 모델 정확도와 통신 효율성 측면에서 뛰어나게 되는가?
• RQ2 학습 도중 그래디언트 분포가 변화함에 따라 고정된 양자화 방식의 최적성은 어떻게 영향을 받는가?
• RQ3 전역 동기화 없이 분산 환경에서 동적 양자화 수준을 효율적으로 계산할 수 있는가?
• RQ4 적응형 방법이 고정된 방식에 비해 하이퍼파라미터 선택에 얼마나 덜 민감한가?
• RQ5 데이터 병렬 SGD에서 적응형 양자화의 과도한 분산과 통신 비용에 대한 이론적 경계는 무엇인가?

주요 결과

• ALQ와 AMQ는 저대역폭 통신 환경에서 CIFAR-10에서 1.9%의 검증 정확도 향상과 ImageNet에서 1.0%의 향상을 달성한다.
• 동일한 통신 제약 조건 하에서 QSGDinf, TernGrad, NUQSGD보다 높은 정확도를 달성한다.
• 고정된 양자화 방식보다 하이퍼파라미터 선택에 훨씬 더 강건하여 수동 튜닝의 필요성을 줄인다.
• ResNet-18을 사용한 ImageNet 환경에서 ALQ는 3비트와 버킷 크기 1024를 사용할 때, 각 스텝의 학습 시간을 FP32의 0.21배로 줄였으며, FP16의 0.43배에 불과하다.
• 8비트 양자화 조건에서도 ALQ의 추가 계산 오버헤드는 업데이트당 FP32 시간의 1.5배 이내로, 실용적인 효율성을 보여준다.
• 이론적 분석을 통해 모든 적응형 양자화 방법(예: ALQ와 AMQ 포함)에 대해 날카로운 과도한 분산과 통신 비용 경계를 확립하였다.