[논문 리뷰] FQ-Conv: Fully Quantized Convolution for Efficient and Accurate Inference

Bram-Ernst Verhoef, Nathan Laubeuf외 5명|arXiv (Cornell University)|2019. 12. 19.

Advanced Neural Network Applications참고 문헌 33인용 수 16

한 줄 요약

이 논문은 배치 정규화(BN)나 비선형성과 같은 고정밀도 연산에 의존하지 않고, 모든 계산을 저해상도—삼항 가중치와 5비트 활성화 값—에서 수행하는 완전 양자화된 합성곱 신경망인 FQ-Conv를 제안한다. 학습 가능한 양자화 함수와 점진적 양자화 학습을 통해 ImageNet, KWS, CIFAR-100에서 전체 정밀도 모델에 비해 0.5% 이내의 정확도를 달성하면서도 하드웨어 노이즈에 강건하여 엣지 및 아날로그 가속기 환경에 매우 적합하다.

ABSTRACT

Deep neural networks (DNNs) can be made hardware-efficient by reducing the numerical precision of the weights and activations of the network and by improving the network's resilience to noise. However, this gain in efficiency often comes at the cost of significantly reduced accuracy. In this paper, we present a novel approach to quantizing convolutional neural network. The resulting networks perform all computations in low-precision, without requiring higher-precision BN and nonlinearities, while still being highly accurate. To achieve this result, we employ a novel quantization technique that learns to optimally quantize the weights and activations of the network during training. Additionally, to enhance training convergence we use a new training technique, called gradual quantization. We leverage the nonlinear and normalizing behavior of our quantization function to effectively remove the higher-precision nonlinearities and BN from the network. The resulting convolutional layers are fully quantized to low precision, from input to output, ideal for neural network accelerators on the edge. We demonstrate the potential of this approach on different datasets and networks, showing that ternary-weight CNNs with low-precision in- and outputs perform virtually on par with their full-precision equivalents. Finally, we analyze the influence of noise on the weights, activations and convolution outputs (multiply-accumulate, MAC) and propose a strategy to improve network performance under noisy conditions.

연구 동기 및 목표

• 양자화된 CNN에서 고정밀도 배치 정규화(BN)와 비선형성을 제거하여 하드웨어 복잡도를 감소시키는 것.
• 가중치, 활성화값, 출력값을 모두 양자화하여 엔드 투 엔드 저정밀도 추론을 가능하게 하는 것.
• 학습 가능한 양자화 함수와 점진적 양자화 학습을 통해 저정밀도 네트워크의 정확도를 향상시키는 것.
• 특히 아날로그 가속기 환경에서 실질적인 노이즈 조건 하에서 양자화된 네트워크의 강건성 평가.
• 제안된 방법으로 삼항 가중치와 저정밀도 입력/출력을 갖는 CNN이 전체 정밀도 모델과 동일한 정확도를 달성할 수 있음을 입증하는 것.

제안 방법

• 학습 중에 가중치와 활성화값의 양자화 수준을 최적화하는 학습 가능한 양자화 함수를 제안하며, 통계적 분포에 의존하지 않는 방식이다.
• 점진적 양자화 학습을 도입하여 수렴 안정성과 정확도 향상을 위해 점차적으로 양자화를 적용하는 학습 스케줄을 설계한다.
• 양자화 함수의 비선형성 및 정규화 성질을 활용하여 BN과 고정밀도 비선형성의 필요성을 대체한다.
• 역전파가 양자화된 연산을 통해 가능하도록 가능한 미분 가능한 양자화 함수를 사용하여, 양자화 수준과 가중치를 함께 최적화할 수 있도록 한다.
• 아날로그 가속기에서의 하드웨어 노이즈에 대한 강건성을 향상시키기 위해 학습 중 노이즈 주입 전략을 적용한다.
• ImageNet, KWS, CIFAR-100에서 표준 CNN에 대해 삼항 가중치와 5비트 활성화값을 사용하여 전체적으로 완전 양자화된 네트워크를 적용한다.

실험 결과

연구 질문

• RQ1 삼항 가중치와 저정밀도 활성화값을 갖는 완전 양자화 CNN이 전체 정밀도 모델과 유사한 정확도를 달성할 수 있는가?
• RQ2 학습 가능한 양자화를 통해 저정밀도 네트워크에서 고정밀도 배치 정규화와 비선형성의 필요성을 제거할 수 있는가?
• RQ3 점진적 양자화 학습이 완전 양자화 네트워크의 수렴과 정확도 향상에 기여하는가?
• RQ4 특히 아날로그 가속기 환경에서, 가중치, 활성화값, MAC 출력의 노이즈에 대해 완전 양자화 네트워크는 얼마나 강건한가?
• RQ5 제안된 방법은 다양한 데이터셋과 네트워크 아키텍처에 일반화 가능한가?

주요 결과

• 삼항 가중치와 5비트 활성화값을 사용하며 고정밀도 BN이나 비선형성을 제거한 CNN은 ImageNet에서 94.32%의 Top-1 정확도를 달성하여 전체 정밀도 기준선에 비해 0.5% 이내로 수렴하였다.
• Google Speech Commands 데이터셋에서 완전 양자화 네트워크는 94.3%의 정확도를 기록하여 전체 정밀도 모델과 동일한 성능을 보였다.
• CIFAR-100에서 완전 양자화 네트워크는 76.8%의 정확도를 달성하여 전체 정밀도 모델의 77.1%에 거의 근접하였다.
• 노이즈를 포함한 학습은 강건성을 향상시켰다: 20% 노이즈(σ) 조건에서 노이즈 학습을 한 경우 테스트 정확도는 73.8%에서 75.4%로 상승했으며, 노이즈 없이 학습한 경우는 65.1%로 떨어졌다.
• 30% 노이즈 조건에서 노이즈 학습을 한 네트워크는 KWS에서 87.7%의 정확도와 CIFAR-100에서 69.2%의 정확도를 유지하여 강력한 내성 특성을 보였다.
• 제안된 방법은 정밀도 손실 없이 완전 양자화 추론을 가능하게 하여 에너지 효율적인 엣지 및 아날로그 가속기 환경에 매우 적합하다.