[논문 리뷰] Accurate Neural Training with 4-bit Matrix Multiplications at Standard Formats

Brian Chmiel, Ron Banner외 3명|arXiv (Cornell University)|2021. 12. 19.

Advanced Neural Network Applications인용 수 6

한 줄 요약

이 논문은 표준 부동소수점 형식을 사용하여 딥 네URAL 네트워크의 4비트 훈련을 위한 로그 비선형 무편향 양자화(Logarithmic Unbiased Quantization, LUQ)를 제안한다. LUQ는 표준 형식의 무작위 반올림을 통해 영 또는 가장 작은 표현 가능한 크기로의 양자화를 통해 신경망 기울기의 편향 없는 양자화를 가능하게 하여, 하드웨어에 특화된 형식이나 상당한 오버헤드 없이도 4비트 훈련에서 최신 기술 수준의 정확도를 달성한다. ImageNet에서 ResNet50을 사용할 경우 1.1%의 top-1 오차를 기록하고, 미세조정 후에는 0.32%로 감소한다.

ABSTRACT

Quantization of the weights and activations is one of the main methods to reduce the computational footprint of Deep Neural Networks (DNNs) training. Current methods enable 4-bit quantization of the forward phase. However, this constitutes only a third of the training process. Reducing the computational footprint of the entire training process requires the quantization of the neural gradients, i.e., the loss gradients with respect to the outputs of intermediate neural layers. Previous works separately showed that accurate 4-bit quantization of the neural gradients needs to (1) be unbiased and (2) have a log scale. However, no previous work aimed to combine both ideas, as we do in this work. Specifically, we examine the importance of having unbiased quantization in quantized neural network training, where to maintain it, and how to combine it with logarithmic quantization. Based on this, we suggest a $ extit{logarithmic unbiased quantization}$ (LUQ) method to quantize both the forward and backward phases to 4-bit, achieving state-of-the-art results in 4-bit training without the overhead. For example, in ResNet50 on ImageNet, we achieved a degradation of 1.1%. We further improve this to a degradation of only 0.32% after three epochs of high precision fine-tuning, combined with a variance reduction method -- where both these methods add overhead comparable to previously suggested methods.

연구 동기 및 목표

• 표준 수치 형식을 사용하여 전방 및 역전파를 모두 4비트로 양자화함으로써 딥 네URAL 네트워크의 완전한 4비트 훈련을 가능하게 하기 위해.
• 특히 역전파 오차에 대해 기울기 편향 문제를 해결하기 위해.
• 하드웨어 이식성에 악영향을 주는 비표준 또는 전용 수치 형식(예: 라디우스-4 부동소수점)에 의존하지 않도록 하기 위해.
• 훈련 중 계산 및 메모리 오버헤드를 줄이면서도 높은 모델 정확도를 유지하기 위해.
• 역전파에서는 편향 없는 양자화가 필수적임을 입증하기 위해, 이는 전방 전파에서는 편향이 덜 해로운 것으로 나타남.

제안 방법

• 표준 FP4 형식([1개의 부호 비트, 3개의 지수 비트, 0개의 가수 비트])를 사용하여 신경망 기울기의 4비트 양자화를 위한 로그 비선형 무편향 양자화(LUQ)를 제안한다.
• 표현 가능한 최소 크기 α 이하의 기울기에는 무작위 양자화를 적용하여, 영 또는 α로 매핑함으로써 편향 없는 기울기 추정을 유지한다.
• 훈련 중에 α를 동적으로 조정하여 최대 기울기 크기가 항상 표현 가능하도록 보장한다.
• 표현 가능한 범위 내에서 무작위 반올림을 사용하여 기울기 추정의 편향을 제거한다.
• 기존의 INT4 양자화(예: SAWB)를 사용한 가중치 및 활성화와 LUQ를 조합하여 완전한 4비트 GEMM 계산을 가능하게 한다.
• 서로 보완되는 두 가지 방법을 도입한다: 기울기의 무작위성 감소를 위한 재샘플링 기반 기법(SMP), 그리고 수렴 성능 향상을 위한 고정밀도 미세조정(FNT).

실험 결과

연구 질문

• RQ1 왜 편향 없는 기울기 양자화가 4비트 훈련에서 필수적인가, 그리고 전방 전파 양자화와는 어떻게 다를까?
• RQ2 비표준 형식 없이도 라디우스-2 FP4와 같은 표준 수치 형식을 효과적으로 4비트 역전파에 사용할 수 있는가?
• RQ3 저정밀도 훈련 중 기울기 편향과 모델 정확도 측면에서 무작위 반올림과 반올림-가장가까운 방식의 성능 비교는 어떻게 되는가?
• RQ4 무작위 기울기 양자화의 분산에 어떤 영향을 미치며, 편향을 유지하면서 이를 줄일 수 있는가?
• RQ5 고정밀도 미세조정은 4비트 훈련 중 손실된 정확도를 효과적으로 복구할 수 있으며, 이는 이전 방법 대비 계산 비용은 얼마나 되는가?

주요 결과

• LUQ는 ResNet50을 사용하여 완전한 4비트 훈련을 통해 ImageNet에서 1.1%의 top-1 오차를 기록하며, 비표준 형식을 사용한 이전 최신 기술 수준의 방법들을 능가한다.
• 세 에포크의 고정밀도 미세조정(FNT) 후 오차는 단 0.32%로 감소하여 강력한 복구 능력을 입증한다.
• 두 개의 샘플을 사용한 제안된 분산 감소 기법(SMP)은 이전의 이단계 반올림 방법[23]과 유사한 계산 오버헤드를 가지며 성능을 유사하게 유지한다.
• LUQ를 사용한 4비트 훈련의 처리량은 약 8배 빠른 FP16 훈련보다 빠르며, 뚜렷한 효율성 향상을 보인다.
• 특수한 처리 방식을 통해 지수만 또는 가수만을 가진 연산자에 대해 곱셈이 없는 역전파를 가능하게 하여 GEMM 하드웨어 면적을 5배 감소시켰다.
• 이전에는 저비트 훈련에서 가장 비용이 많이 드는 구성요소였던 FP32 누적기의 폭을 줄일 수 있어, 향후 추가 최적화 가능성이 있음을 시사한다.