[논문 리뷰] Neural gradients are lognormally distributed: understanding sparse and quantized training.

Brian Chmiel, Liad Ben-Uri외 4명|arXiv (Cornell University)|2020. 06. 15.

Advanced Neural Network Applications참고 문헌 26인용 수 2

한 줄 요약

이 논문은 신경망 기울기가 로그정규분포를 따른다는 것을 밝혀내며, 이로 인해 두 가지 새로운 압축 기법을 제안한다: 확률적 기울기 프루닝(ResNet18/ImageNet에서 정확도 저하 없이 최대 85%의 희소성 달성)과 최적화된 저정밀도 부동소수점 형식(FP8 등), 이는 메모리 및 계산 오버헤드를 줄여 학습 효율성을 향상시키며 이전의 정밀도 및 스케일링 관찰 결과를 설명한다.

ABSTRACT

Neural gradient compression remains a main bottleneck in improving training efficiency, as most existing neural network compression methods (e.g., pruning or quantization) focus on weights, activations, and weight gradients. However, these methods are not suitable for compressing neural gradients, which have a very different distribution. Specifically, we find that the neural gradients follow a lognormal distribution. Taking this into account, we suggest two methods to reduce the computational and memory burdens of neural gradients. The first one is stochastic gradient pruning, which can accurately set the sparsity level -- up to 85% gradient sparsity without hurting validation accuracy (ResNet18 on ImageNet). The second method determines the floating-point format for low numerical precision gradients (e.g., FP8). Our results shed light on previous findings related to local scaling, the optimal bit-allocation for the mantissa and exponent, and challenging workloads for which low-precision floating-point arithmetic has reported to fail. Reference implementation accompanies the paper.

연구 동기 및 목표

• 기존의 압축 방법이 가중치와 활성화에 집중하면서 기울기를 간과하는 데서 비롯되는 비효율성을 해결하기 위해.
• 기존의 압축 연구에서 간과되었던 신경망 기울기의 기초 분포를 이해하기 위해.
• 딥러닝 학습 중 메모리 및 계산 비용을 줄일 수 있는 실용적인 기울기 압축 기법을 개발하기 위해.
• 저정밀도 학습에서 오랫동안 관찰된 현상, 예를 들어 局소 스케일링의 필요성과 가수분해의 최적 비트 할당을 설명하기 위해.

제안 방법

• 다양한 모델과 데이터셋을 대상으로 실증 분석을 통해 신경망 기울기가 로그정규분포를 따른다는 것을 규명한다.
• 기울기의 로그정규 꼬리 특성을 활용해 희소성 수준을 정확하게 설정하는 확률적 기울기 프루닝 기법을 제안하며, 이로 인해 ResNet18에서 정확도 저하 없이 최대 85%의 희소성 달성 가능.
• 로그정규분포 기반의 부동소수점 형식 선택 전략을 설계하여 저정밀도 기울기(FP8 등)의 지수와 가수 간 비트 할당을 최적화한다.
• 로그정규 모델을 활용해 기울기 표현의 최적 스케일링 인자와 수치 범위를 유도함으로써 저정밀도 학습에서의 안정성을 향상시킨다.
• ResNet18과 ImageNet을 대상으로 방법을 검증하여 다양한 희소성 및 정밀도 수준에서의 강건성을 입증한다.

실험 결과

연구 질문

• RQ1 기존의 기울기 압축 방법이 정확도 저하 없이 고희소성 또는 저정밀도를 달성하지 못하는 이유는 무엇인가?
• RQ2 백프로파게이션 중 기울기의 크기에 기초가 되는 통계적 분포는 무엇인가?
• RQ3 모델 성능 저하 없이 기울기 희소성을 정밀하게 제어할 수 있는 방법은 무엇인가?
• RQ4 저정밀도 기울기 표현에서 지수와 가수 간 최적의 비트 할당은 무엇인가?
• RQ5 이러한 발견은 왜 局소 스케일링이 필요하고, 어떤 워크로드에서는 저정밀도 산술이 실패하는지를 어떻게 설명하는가?

주요 결과

• 다양한 딥러닝 모델과 데이터셋에서 신경망 기울기가 실증적으로 로그정규분포를 따름을 입증한다.
• 확률적 기울기 프루닝 기법이 ResNet18을 ImageNet에서 학습시킬 때 정확도 저하 없이 최대 85%의 희소성 달성 가능하다.
• 로그정규분포 덕분에 기울기 희소성을 정밀하게 제어할 수 있으며, 이는 다양한 압축 수준의 체계적 탐색을 가능하게 한다.
• 로그정규 모델을 활용해 최적의 저정밀도 형식(FP8 등)을 유도할 수 있으며, 이는 수치적 안정성과 효율성을 향상시킨다.
• 이러한 발견은 왜 저정밀도 학습에서 局소 스케일링이 필수적인지 설명하며, 일부 워크로드가 정밀도 손실에 민감한 이유를 명확히 한다.