[논문 리뷰] Quantizing Convolutional Neural Networks for Low-Power High-Throughput Inference Engines

Sean O. Settle, Manasa Bollavaram외 7명|arXiv (Cornell University)|2018. 05. 21.

Advanced Neural Network Applications참고 문헌 14인용 수 20

한 줄 요약

이 논문은 재학습 없이 단일 추론 배치를 기반으로 校정하는 동적 부동소수점 양자화 기법을 제안하며, 8비트 이하 연산을 사용하여 고정밀도, 저전력 추론을 가능하게 한다. FPGAs에서 하드웨어 및 에너지 비용을 4배 이상 감소시키면서도, 전체 정밀도 모델과 유사한 엔드 투 엔드 양자화 후 정확도를 달성한다.

ABSTRACT

Deep learning as a means to inferencing has proliferated thanks to its versatility and ability to approach or exceed human-level accuracy. These computational models have seemingly insatiable appetites for computational resources not only while training, but also when deployed at scales ranging from data centers all the way down to embedded devices. As such, increasing consideration is being made to maximize the computational efficiency given limited hardware and energy resources and, as a result, inferencing with reduced precision has emerged as a viable alternative to the IEEE 754 Standard for Floating-Point Arithmetic. We propose a quantization scheme that allows inferencing to be carried out using arithmetic that is fundamentally more efficient when compared to even half-precision floating-point. Our quantization procedure is significant in that we determine our quantization scheme parameters by calibrating against its reference floating-point model using a single inference batch rather than (re)training and achieve end-to-end post quantization accuracies comparable to the reference model.

연구 동기 및 목표

• 자원 제약이 있는 장치에 딥러닝 모델을 구현함에 있어 증가하는 계산 및 에너지 수요를 해결한다.
• 32비트 연산을 감소된 정밀도 대체 연산으로 대체하여 CNN 추론의 하드웨어 및 에너지 비용을 줄인다.
• 재학습 없이도 높은 추론 정확도를 유지하는 양자화 방법을 개발하며, 단일 校정 배치만을 사용한다.
• 네트워크별 최적의 n비트, p비트 양자화 파라미터를 맞추기 위해 맞춤형 회로 구성 가능성을 제공함으로써 효율적인 FPGA 기반 배포를 가능하게 한다.
• 동적 부동소수점 양자화가 고정소수점 및 표준 감소 정밀도 부동소수점보다 정확도 및 효율성 면에서 뛰어나다는 것을 입증한다.

제안 방법

• α × 2^exponent × 부호 있는 정수로 정의된 동적 부동소수점 형식을 도입하며, 여기서 α는 실수 값이며, 가수는 n비트 및 p가수비트로 표현된다.
• 가수에 대해 부호-크기 또는 이진보수 표현을 사용하며, 특수한 지수 인코딩을 통해 비정규화 값도 지원한다.
• 최적의 스케일 및 지수 파라미터를 결정하기 위해 단일 추론 배치를 사용하는 기반 校정 기반의 양자화 절차를 적용한다.
• 지수 및 가수 비트 간의 유연한 비트 폭 할당을 지원하여 범위와 정밀도 사이의 트레이드오프를 가능하게 한다.
• 네트워크 특성에 최적화된 n 및 p 구성에 맞추어 FPGA 재구성 기능을 제공하여 맞춤형 n비트, p비트 양자화 파라미터를 허용한다.
• 재학습을 피하기 위해 최소한의 데이터(최소 8장의 이미지)로도 가능한 빠른 오프라인 네트워크 압축을 가능하게 하는 후양자화 校정을 사용한다.

실험 결과

연구 질문

• RQ1 재학습 없이 단일 校정 배치만을 사용하여 근접 정밀도 추론 정확도를 달성할 수 있는가?
• RQ2 동적 부동소수점 양자화가 고정소수점 및 표준 감소 정밀도 부동소수점과 비교해 정확도 및 효율성 면에서 어떻게 다른가?
• RQ3 GoogLeNet, ResNet, MobileNet과 같은 다양한 CNN 아키텍처에 대해 지수 및 가수 비트의 최적 할당은 어떻게 되는가?
• RQ4 정밀도 손실이 크게 발생하지 않도록 비트 폭을 5비트 또는 6비트로 줄일 수 있는가?
• RQ5 비정규화 값 및 Infs/NaNs를 양자화 기법에서 안전하게 제외해도 성능 저하가 발생하지 않는가?

주요 결과

• GoogLeNet에서 fp8 및 fp6 양자화를 사용할 경우 p=4 또는 p=3로 100% 정규화된 상위-1 정확도를 달성하며, 이는 fp8에서 약 60% 수준을 기록한 이전 연구에 비해 뛰어나다.
• fp8의 경우 p=4 또는 p=3일 때 최고의 정확도를 기록하며, 이는 영역 근처 정밀도가 성능에 매우 중요하다는 것을 시사한다.
• GoogLeNet 및 ResNet의 가중치는 5비트로 줄여도 정확도 손실가 최소화되며, MobileNet은 성능 유지에 최소 7비트가 필요하다.
• 지수 비트 수가 3비트를 초과하면 수익 감소 효과가 나타나며, 4비트 지수 비트는 3비트보다 유의미한 향상이 없다. 이는 fp32를 잘라낸 것이 fp16보다 낫다는 믿음과 배치된다.
• 동적 부동소수점 기법은 더 넓은 범위와 영역 근처의 개선된 정밀도 덕분에 동적 고정소수점 유사 기법보다 뛰어난 성능을 보인다.
• 최소한의 校정 데이터(최소 8장의 이미지)로도 32비트 연산을 8비트 이하로 대체함으로써 에너지 및 하드웨어 비용을 4배 이상 감소시킬 수 있다.