[논문 리뷰] TensorQuant - A Simulation Toolbox for Deep Neural Network Quantization

Dominik Marek Loroch, Norbert Wehn외 2명|arXiv (Cornell University)|2017. 10. 13.

Advanced Neural Network Applications인용 수 5

한 줄 요약

TensorQuant는 딥 뉴럴 네트워크에서 저밀도 고정점 양자화의 세밀한 시뮬레이션을 가능하게 하는 텐서플로우 기반 툴박스로, 고유 하드웨어의 산술 수준 동작을 모방한다. 이 연구는 내재된 반올림과 기울기 양자화가 아키텍처에 매우 의존적임을 입증하며, AlexNet과 같은 더 깊은 네트워크의 안정적인 훈련을 위해 16비트 고정점 형식에서 최소 12비트의 소수부가 필요하다고 밝힌다.

ABSTRACT

Recent research implies that training and inference of deep neural networks (DNN) can be computed with low precision numerical representations of the training/test data, weights and gradients without a general loss in accuracy. The benefit of such compact representations is twofold: they allow a significant reduction of the communication bottleneck in distributed DNN training and faster neural network implementations on hardware accelerators like FPGAs. Several quantization methods have been proposed to map the original 32-bit floating point problem to low-bit representations. While most related publications validate the proposed approach on a single DNN topology, it appears to be evident, that the optimal choice of the quantization method and number of coding bits is topology dependent. To this end, there is no general theory available, which would allow users to derive the optimal quantization during the design of a DNN topology. In this paper, we present a quantization tool box for the TensorFlow framework. TensorQuant allows a transparent quantization simulation of existing DNN topologies during training and inference. TensorQuant supports generic quantization methods and allows experimental evaluation of the impact of the quantization on single layers as well as on the full topology. In a first series of experiments with TensorQuant, we show an analysis of fix-point quantizations of popular CNN topologies.

연구 동기 및 목표

• 훈련 및 추론 중 DNN에 대한 양자화 효과 평가를 위한 체계적인 도구 부족 문제를 해결하기 위해.
• 양자화 위치(내재적 vs. 외재적)와 반올림 방법이 모델 정확도에 미치는 영향을 조사하기 위해.
• 작업 수준에서 고정점 산술을 모방하는 투명하고 확장 가능한 시뮬레이션 프레임워크를 제공하기 위해.
• LeNet, AlexNet, Inception V3, ResNet-152와 같은 상태최선의 CNN에 대해 양자화 영향을 평가하기 위해, 단순한 아키텍처를 넘어서기 위해.
• 분산 훈련 및 고유 하드웨어 배포를 위한 양자화 전략에 대한 실험적 검증을 가능하게 하기 위해.

제안 방법

• 사용자 정의된 양자화 방법을 지원하는 텐서플로우 계산 그래프에 양자화 레이어 통합.
• 레이어 단위의 양자화와 고정점 연산(반올림 및 오버플로 처리 포함)의 전체 산술 수준 모의를 지원.
• 레이어 간 노이즈 전파 영향을 비교하기 위해 내재적 및 외재적 반올림 전략의 구현.
• 정규 DNN 훈련 파이프라인을 사용하여 기울기, 가중치, 활성화를 모두 양자화하면서도 전체 텐서플로우 기능을 유지.
• 정확도 상충 관계를 평가하기 위해 다양한 워드 사이즈와 소수 비트 할당을 시뮬레이션.
• 표준 데이터셋(MNIST, CIFAR-10)과 대규모 모델(LeNet, AlexNet, Inception V3, ResNet-152)에서 벤치마킹.

실험 결과

연구 질문

• RQ1 내재적 반올림과 외재적 반올림의 양자화 위치가 훈련 중 딥 뉴럴 네트워크의 정확도에 어떤 영향을 미치는가?
• RQ2 다양한 DNN 아키텍처의 안정적인 훈련을 위해 필요한 최소 비트 폭과 소수 비트 할당은 무엇인가?
• RQ3 기울기 양자화가 수렴성과 최종 정확도에 어떤 영향을 미치며, 특히 AlexNet과 같은 더 깊은 네트워크에서는 어떠한가?
• RQ4 LeNet과 같은 단순한 네트워크에서의 결과는 더 큰 상태최선의 아키텍처로 일반화될 수 있는가?
• RQ5 다른 반올림 방법(예: 가장 가까운 값, 내림)은 훈련 동역학과 최종 모델 성능에 어떤 영향을 미치는가?

주요 결과

• MNIST에서 LeNet의 경우 4비트 고정점 형식에 2비트 소수부를 사용하면 상대 정확도 97%를 달성하여 얕은 네트워크의 저밀도 훈련이 가능함을 시사한다.
• AlexNet의 경우 16비트 워드 형식에서 최소 12비트의 소수부가 있어야 92.6%의 상대 정확도를 달성할 수 있으며, 이는 더 깊은 네트워크가 양자화 정밀도에 매우 민감함을 보여준다.
• AlexNet에서 16비트 가장 가까운 반올림을 사용할 경우, 높은 테스트 정확도에도 불구하고 효과적인 L2 정규화가 이루어지지 않아 손실 값이 증가함을 확인하여 손실과 일반화 간의 괴리가 있음을 시사한다.
• 내재적 반올림은 외재적 반올림보다 반올림 방법과 비트 폭에 더 민감하여 아키텍처 간 일반화가 더 어렵다.
• 모든 DNN 아키텍처에서 안정적인 훈련을 보장하는 유일한 비트 폭 설정은 존재하지 않으며, 병목 레이어의 민감도가 서로 다름을 확인한다.
• 시험된 네트워크의 모든 레이어에 대해 16비트 고정점 형식은 충분하지만, 정확도 유지에 있어 정수 비트보다 소수 비트가 더 중요하다.