[논문 리뷰] Training High-Performance and Large-Scale Deep Neural Networks with Full 8-bit Integers

Yukuan Yang, Shuang Wu외 4명|arXiv (Cornell University)|2019. 09. 05.

Advanced Neural Network Applications참고 문헌 34인용 수 11

한 줄 요약

이 논문은 대규모 딥 네ural 네트워크를 훈련하기 위한 첫 번째 완전한 8비트 정수 양자화 프레임워크인 WAGEUBN을 제안한다. 이는 가중치, 활성화, 기울기, 오차, 업데이트, 배치 정규화, 그리고 모멘타이저 최적화기까지 모든 데이터 경로에서 완전한 정수 산술을 가능하게 한다. 이는 FP32 대비 최대 4배 메모리 절감, 9배 빠른 계산, 30배 이상의 낮은 전력 소비를 달성하며, 이는 이식 가능한 장치에서 효율적인 온라인 학습을 가능하게 한다.

ABSTRACT

Deep neural network (DNN) quantization converting floating-point (FP) data in the network to integers (INT) is an effective way to shrink the model size for memory saving and simplify the operations for compute acceleration. Recently, researches on DNN quantization develop from inference to training, laying a foundation for the online training on accelerators. However, existing schemes leaving batch normalization (BN) untouched during training are mostly incomplete quantization that still adopts high precision FP in some parts of the data paths. Currently, there is no solution that can use only low bit-width INT data during the whole training process of large-scale DNNs with acceptable accuracy. In this work, through decomposing all the computation steps in DNNs and fusing three special quantization functions to satisfy the different precision requirements, we propose a unified complete quantization framework termed as ``WAGEUBN'' to quantize DNNs involving all data paths including W (Weights), A (Activation), G (Gradient), E (Error), U (Update), and BN. Moreover, the Momentum optimizer is also quantized to realize a completely quantized framework. Experiments on ResNet18/34/50 models demonstrate that WAGEUBN can achieve competitive accuracy on the ImageNet dataset. For the first time, the study of quantization in large-scale DNNs is advanced to the full 8-bit INT level. In this way, all the operations in the training and inference can be bit-wise operations, pushing towards faster processing speed, decreased memory cost, and higher energy efficiency. Our throughout quantization framework has great potential for future efficient portable devices with online learning ability.

연구 동기 및 목표

• 딥 네트워크 훈련에서 부분적인 양자화 또는 배치 정규화와 최적화기와 같은 핵심 구성 요소에서 FP 정밀도를 유지하는 불완전한 양자화 문제를 해결하기 위해.
• 전체 훈련 파이프라인 동안, 즉 순방향 및 역방향 전파, 가중치 업데이트 및 최적화까지 완전한 8비트 정수 계산을 가능하게 하여 하드웨어 효율성을 향상시키기 위해.
• 낮은 정밀도 훈련에서의 수렴 불량 문제를 해결하기 위해, 동적 범위를 확장하고 작은 값 정보를 유지하는 플래그 비트 기반의 양자화 방법을 도입하기 위해.
• ResNet18/34/50와 같은 대규모 모델에 대해 ImageNet에서 완전한 8비트 정수 수준에서의 가능성과 성능을 입증하기 위해.
• 향후 온라인 학습 기능을 갖춘 이식 가능한 장치를 위한 더 빠르고, 더 낮은 전력 소비, 더 메모리 효율적인 훈련을 가능하게 하는 하드웨어 최적화 프레임워크를 제공하기 위해.

제안 방법

• 모든 DNN 계산 단계를 별도의 데이터 경로로 분해한다: W(가중치), A(활성화), G(기울기), E(오차), U(업데이트), BN(배치 정규화), O(최적화기), 각각 독립적으로 양자화한다.
• 다양한 정밀도 요구 사항을 충족하기 위해 세 가지 특화된 양자화 함수를 융합한다: 표준 8비트 양자화, 오차 및 기울기 텐서에 대한 플래그 비트 향상 8비트 양자화, 그리고 배치 정규화에 대한 스케일링 정수 표현 방식.
• 오차 및 기울기 텐서의 양자화에 플래그 비트를 도입하여 효과적인 동적 범위를 확장하고, 작은 값이지만 정보가 많은 값을 유지함으로써 수렴 불량을 방지한다.
• 배치 정규화 레이어를 INT8에서 학습 가능한 스케일링 인자로 대체하여 FP 의존성을 제거하면서도 훈련 안정성을 유지한다.
• 모멘타이저 최적화기가 완전히 8비트 정수로 양자화되어, 모든 최적화 단계가 비트 연산으로 수행될 수 있도록 한다.
• 프레임워크는 ImageNet을 사용하여 ResNet18/34/50에서 평가되었으며, 전체 훈련 및 추론 과정이 8비트 정수 산술로 완전히 수행되었다.

실험 결과

연구 질문

• RQ1 역전파 및 최적화까지 전체 DNN 훈련 과정에서 완전한 8비트 정수 산술을 사용할 수 있는가? 이는 모델 정확도를 저하시키지 않는다.
• RQ2 낮은 정밀도 양자화의 동적 범위를 어떻게 확장할 수 있으며, 특히 작은 값의 기울기와 오차에 대해 수렴 불량을 방지할 수 있는가?
• RQ3 배치 정규화는 정량화된 고정 스케일 등가 형태로 효과적으로 대체될 수 있는가? 이는 훈련 성능 저하 없이 가능할 수 있는가?
• RQ4 혼합 정밀도 또는 FP32 훈련 대비 완전한 8비트 정수 훈련의 실제 하드웨어 효율성 향상(속도, 전력, 면적)은 어떠한가?
• RQ5 이 프레임워크는 ResNet50와 같은 대규모 모델에 대해 ImageNet에서 경쟁력 있는 정확도를 유지하면서 성공적으로 적용될 수 있는가?

주요 결과

• WAGEUBN은 ResNet18을 사용하여 ImageNet에서 70.2%의 경쟁력 있는 상위-1 정확도를 달성하여, 대규모 모델에 대한 완전한 8비트 정수 훈련이 가능함을 입증한다.
• 프레임워크는 전체 정밀도 FP32 네트워크 대비 약 4배의 모델 크기 감소를 달성하여 메모리 요구량을 크게 낮춘다.
• WAGEUBN에서 곱셈 및 누적 연산은 각각 FP32 대비 3배 이상, 9배 이상 빠르며, 전력 소비는 30배 이상 감소한다.
• 플래그 비트 양자화 방법은 작은 값의 기울기 및 오차의 데이터 커버리지 비율을 증가시켜 수렴 불량을 방지하고 훈련 안정성을 향상시킨다.
• FPGA 기반 하드웨어 시뮬레이션 결과, INT8 연산은 곱셈에 대해 FP32 대비 9배 작고, 10배 낮은 전력 소비, 3배 높은 속도를 기록했으며, 누적 연산에 대해서는 30배 낮은 전력 소비와 9배의 빠른 속도를 달성했다.
• 이 작업은 대규모 DNN에 대한 첫 번째 완전한 8비트 정수 훈련 프레임워크를 구축하였으며, 모든 훈련 구성 요소에서 비트 연산을 가능하게 하여 효율적인 현장 내 온라인 학습의 길을 열었다.