[논문 리뷰] Neural gradients are near-lognormal: improved quantized and sparse training

Brian Chmiel, Liad Ben-Uri외 4명|arXiv (Cornell University)|2020. 06. 15.

Advanced Neural Network Applications인용 수 9

한 줄 요약

이 논문은 신경망 기울기들이 거의 로그노멀 분포를 따르는 것으로 밝혀내며, 이를 바탕으로 두 가지 새로운 분석적 방법을 제안한다: 최적화된 6비트 부동소수점 양자화와 정밀한 기울기 희소화. 로그노멀 통계를 활용해 저자들은 6비트 기울기 양자화로 ImageNet에서 최신 기준 성능을 달성하고, 정확도 저하 없이 최대 85%의 희소성까지 가능하게 했다. 이는 손실 스케일링과 같은 히우리스틱 방법에 대한 이론적으로 탄탄한 대안을 제공한다.

ABSTRACT

While training can mostly be accelerated by reducing the time needed to propagate neural gradients back throughout the model, most previous works focus on the quantization/pruning of weights and activations. These methods are often not applicable to neural gradients, which have very different statistical properties. Distinguished from weights and activations, we find that the distribution of neural gradients is approximately lognormal. Considering this, we suggest two closed-form analytical methods to reduce the computational and memory burdens of neural gradients. The first method optimizes the floating-point format and scale of the gradients. The second method accurately sets sparsity thresholds for gradient pruning. Each method achieves state-of-the-art results on ImageNet. To the best of our knowledge, this paper is the first to (1) quantize the gradients to 6-bit floating-point formats, or (2) achieve up to 85% gradient sparsity -- in each case without accuracy degradation. Reference implementation accompanies the paper.

연구 동기 및 목표

• 훈련 중 역전파 시 신경 기울기의 계산 및 메모리 오버헤드 문제를 해결하기 위해.
• 기존의 양자화 및 희소화 방법은 가우시안 또는 라플라스 분포를 가정하지만, 기울기의 꼬리가 두꺼운 성향으로 인해 실패하는 한계를 극복하기 위해.
• 신경 기울기의 크기가 실제로 로그노멀 분포를 따른다는 경험적 관찰을 바탕으로, 기울기 양자화와 희소화를 위한 이론적으로 탄탄한 닫힌 형태의 수식을 개발하기 위해.
• ImageNet에서 정확도 저하 없이, 양자화 및 희소화 훈련에서 최신 기준 성능을 달성하기 위해.

제안 방법

• 저자들은 통계적 검증을 통해 기울기 크기의 분포를 로그노멀 분포로 모델링하며, 가우시안 또는 라플라스 분포보다 더 잘 맞는다는 것을 보였다.
• 저정밀도 부동소수점 형식(FP6, FP7 등)에서 양자화 노이즈를 최소화하기 위해 지수와 가수 간 최적의 비트 할당을 위한 닫힌 형태의 수식을 유도하였다.
• 로그노멀 분포의 파rameter를 기반으로 정확한 임계값을 계산하는 방법을 제안하여, 희소성 수준을 정밀하게 제어할 수 있도록 하였다.
• 각 레이어의 로그노멀 파rameter에 따라 다른 희소성 수준을 할당하는 이질적 희소화를 도입하여 코사인 유사도와 모델 정확도를 유지하였다.
• 극단치의 영향을 고려하기 위해 잘린 로그노멀 모델을 사용해 기울기 간 코사인 유사도를 분석적으로 계산하였다.
• 기본 모델 및 손실 스케일링, 상위-k 희소화와 같은 히우리스틱 방법과 비교하여, ResNet18을 사용해 ImageNet 및 CIFAR-10에서 메서드를 검증하였다.

실험 결과

연구 질문

• RQ1 역전파 과정에서 신경 기울기의 크기를 가장 잘 설명하는 통계적 분포는 무엇인가?
• RQ2 기울기의 분포를 바탕으로 저정밀도 부동소수점 표현의 최적화를 위한 닫힌 형태의 분석적 방법을 유도할 수 있는가?
• RQ3 기울기 분포에서 유도된 이론적 임계값을 사용해 기울기 희소성을 고정밀도로 설정할 수 있는가?
• RQ4 각 레이어에 다른 희소성 수준을 적용하는 이질적 희소화는 동일한 희소성 수준을 적용하는 경우와 비교해 정확도 및 코사인 유사도 측면에서 어떻게 다른가?
• RQ5 제안된 방법은 정확도 저하 없이 양자화 및 희소화 훈련에서 최신 기준 성능을 달성할 수 있는가?

주요 결과

• 신경 기울기 크기는 강력한 적합도 검정 결과를 바탕으로 로그노멀 분포로 가장 잘 모델링된다.
• 저자들은 ImageNet에서 정확도 저하 없이 6비트 부동소수점 양자화를 달성했으며, 이는 새로운 최신 기준 성능이다.
• 분석적으로 유도된 희소화 임계값을 사용해 정확도 저하 없이 최대 85%의 기울기 희소성을 달성했으며, 이 역시 새로운 최신 기준 성능이다.
• 로그노멀 파rameter에 따라 각 레이어의 희소성 수준을 조정하는 이질적 희소화는 총 희소성 92%에서도 정확도 저하가 1% 미만이었으며, 동일한 희소성 수준을 적용하는 경우보다 뛰어난 성능을 보였다.
• 분석적 희소화 방법은 상위-k + 확률적 희소화보다 기울기 간 코사인 유사도를 더 잘 유지했으며, 레이어 간 편차가 적었다.
• 이 방법은 손실 스케일링에 대한 이론적 기반을 제공하며, 히우리스틱 조정을 로그노멀 파rameter에 기반한 분석적으로 유도된 스케일링 인자로 대체한다.