[논문 리뷰] Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference

Benoît Jacob, Skirmantas Kligys외 6명|arXiv (Cornell University)|2017. 12. 15.

Advanced Neural Network Applications인용 수 27

한 줄 요약

이 논문은 유 floating-point 연산 없이 8비트 정수로 가중치와 활성화를 양자화함으로써 신경망에서 효율적인 정수 연산 추론을 가능하게 하는 양자화 기법을 제안한다. 이와 함께 시뮬레이션된 양자화를 통한 공동 최적화된 훈련 절차를 설계하여 모델 정확도를 유지한다. 이 방법은 실시간 하드웨어에서 최대 2배의 지연 감소를 달성하며, 정확도 손실는 약 2%에 불과하여 MobileNets의 지연-정확도 트레이드오프를 크게 향상시킨다.

ABSTRACT

The rising popularity of intelligent mobile devices and the daunting computational cost of deep learning-based models call for efficient and accurate on-device inference schemes. We propose a quantization scheme that allows inference to be carried out using integer-only arithmetic, which can be implemented more efficiently than floating point inference on commonly available integer-only hardware. We also co-design a training procedure to preserve end-to-end model accuracy post quantization. As a result, the proposed quantization scheme improves the tradeoff between accuracy and on-device latency. The improvements are significant even on MobileNets, a model family known for run-time efficiency, and are demonstrated in ImageNet classification and COCO detection on popular CPUs.

연구 동기 및 목표

• 제한된 계산 자원을 가진 모바일 및 엣지 디바이스에서 효율적인 현장 내 추론에 대한 점점 커지는 필요를 해결하기 위해.
• 기존의 양자화 방법들이 실질적인 하드웨어 평가가 부족하거나 일반 CPU에서 정수 연산 최적화를 하지 못하는 한계를 극복하기 위해.
• 고정밀도 정확도를 유지하면서도 표준 모바일 하드웨어에서 빠르고 순수한 정수 연산 추론을 가능하게 하는 양자화 체계와 훈련 절차를 공동 설계하기 위해.
• 실제 CPU인 퀄컴 스냅드래곤 835와 같은 실세계 CPU에서 모바일 효율성 모델인 MobileNets의 지연-정확도 트레이드오프에서 뚜렷한 향상을 보여주기 위해.

제안 방법

• 추론 중에 순수한 정수 산술을 가능하게 하기 위해 네트워크 가중치와 활성화를 8비트 정수로 양자화하고, 편향은 32비트 정수로 저장한다.
• 양자화 효과를 모방하기 위해 계산 그래프 내부에 미분 가능한 시뮬레이션된 양자화 프레임워크를 사용하여 훈련 중에 양자화 연산을 통합한다.
• 표현 오차를 최소화하기 위해 학습된 스케일 및 제로포인트 파rameter를 사용하는 대칭적 양자화 체계를 적용하여 부동소수점 텐서를 정수 범위로 매핑한다.
• 일반적인 모바일 CPU에서 정수 연산의 컨volution 및 활성화 연산을 가속하기 위해 ARM NEON 인스트럭션을 활용한 효율적인 추론 커널을 구현한다.
• 정확도 손실을 복구하기 위해 시뮬레이션된 양자화를 사용한 훈련 후 양자화 및 정밀 조정을 적용한다.
• 실제 하드웨어(퀄컴 스냅드래곤 835)를 사용하여 ImageNet 분류 및 COCO 객체 검출 작업에서 지연과 정확도 향상을 검증하기 위해 평가를 수행한다.

실험 결과

연구 질문

• RQ1 표준 모바일 CPU에서 정확도를 손상시키지 않고 8비트 정수 연산 추론을 효율적으로 구현할 수 있는가?
• RQ2 공동 설계된 양자화 인식 훈련은 특히 MobileNets와 같은 효율적 아키텍처에서 양자화 후 모델 정확도에 어떤 영향을 미치는가?
• RQ3 실제 하드웨어에서 정수 연산 추론을 수행하는 MobileNets의 지연-정확도 트레이드오프는 부동소수점 기반 기준과 비교해 어떻게 되는가?
• RQ4 양자화 체계에서 가중치 및 활성화의 비트 깊이 변화에 따라 모델 성능은 얼마나 민감하게 반응하는가?

주요 결과

• 제안된 정수 연산 전용 양자화는 퀄컴 스냅드래곤 835 LITTLE 및 빅 코어에서 추론 지연을 최대 2배 감소시키며, COCO 객체 검출에서 평균 정밀도가 약 2% 감소하는 데 그친다.
• 얼굴 검출 작업에서는 단일 빅 코어에서 8비트 양자화 모델이 36fps로 실행되어 실시간 성능을 달성하지만, 부동소수점 기반 버전은 23fps에 머문다.
• 4코어에서의 멀티스레딩은 양자화 모델에 대해 1.5배에서 2.2배의 성능 향상을 가져오며, 더 큰 모델일수록 상대적 오버헤드가 감소해 더 높은 성능 향상을 기록한다.
• 제거 실험 결과, 8비트 및 7비트 양자화 모델은 부동소수점 기반 모델과 거의 동일한 성능을 보이며, 4비트 양자화는 심각한 정확도 저하를 초래한다(예: 얼굴 속성 분류에서 평균 정밀도 -14%).
• 총 비트 깊이가 동일할 경우, 균형 잡힌 가중치 및 활성화 비트 깊이(예: 8비트/8비트)는 비균형 설정(예: 4비트/8비트)보다 더 뛰어난 성능을 제공한다.
• 이 방법은 저성능 모바일 디바이스에서 경량 모델인 MobileNet의 실시간 추론을 가능하게 하여, 정수 연산 추론이 엣지 AI의 핵심 추진력이 될 수 있음을 입증한다.