[논문 리뷰] Quantization of Deep Neural Networks for Accurate Edge Computing

Wentao Chen, Hailong Qiu외 8명|arXiv (Cornell University)|2021. 04. 25.

Advanced Neural Network Applications참고 문헌 37인용 수 4

한 줄 요약

이 논문은 엣지 디바이스에서 딥 뉴럴 네트워크의 정확도를 향상시킬 수 있는 정규화 기법으로 점진적 양자화를 제안한다. 생물의학 영상 분할, 이미지 분류, 음성 인식 분야에서 최대 4.23%의 정확도 향상을 입증했으며, 메모리 사용량은 3.5배에서 6.4배 감소시켰다. 이 방법은 대규모 모델에서 과적합을 줄이기 위해 점진적인 가중치 양자화를 활용하며, 기존에 양자화는 성능을 떨어뜨린다는 믿음에 도전한다.

ABSTRACT

Deep neural networks (DNNs) have demonstrated their great potential in recent years, exceeding the per-formance of human experts in a wide range of applications. Due to their large sizes, however, compressiontechniques such as weight quantization and pruning are usually applied before they can be accommodated onthe edge. It is generally believed that quantization leads to performance degradation, and plenty of existingworks have explored quantization strategies aiming at minimum accuracy loss. In this paper, we argue thatquantization, which essentially imposes regularization on weight representations, can sometimes help toimprove accuracy. We conduct comprehensive experiments on three widely used applications: fully con-nected network (FCN) for biomedical image segmentation, convolutional neural network (CNN) for imageclassification on ImageNet, and recurrent neural network (RNN) for automatic speech recognition, and experi-mental results show that quantization can improve the accuracy by 1%, 1.95%, 4.23% on the three applicationsrespectively with 3.5x-6.4x memory reduction.

연구 동기 및 목표

• 양자화가 기존에 정확도 저하의 원인로 여겨지지만, 정규화 기법으로서의 역할을 통해 모델 성능을 향상시킬 수 있는지 조사하기 위해.
• 생물의학 영상 분할, ImageNet 분류, 자동 음성 인식이라는 세 가지 실제 응용 분야에서 점진적 양자화의 영향을 평가하기 위해.
• 대규모 모델에서 과적합을 줄여 일반화 능력과 정확도를 향상시킬 수 있음을 입증하기 위해.
• 메모리 압축이 정확도 손실을 동반하지는 않으며, 때로는 오히려 향상시킬 수 있음을 경험적으로 입증하기 위해.
• 메모리 제약 조건 하에서 정확도를 최대화하는 데 최적의 양자화 비트 폭과 병렬 모델 구성 방식을 탐색하기 위해.

제안 방법

• 저자들은 네트워크 가중치의 비트 폭을 전체 정밀도에서 낮은 비트 표현(예: 8비트, 6비트, 4비트)으로 점진적으로 줄이는 방식으로 점진적 양자화를 적용한다.
• 공정한 비교를 위해 동일한 하드웨어 및 프레임워크 조건에서 최신의 양자화 방법을 재현하고 평가한다.
• 양자화된 가중치를 초기 단계부터 사용하는 방식으로 학습을 수행하며, 동적 고정점 표현 및 가중치 스케일링 기법을 활용해 표현 능력을 유지한다.
• 각 응용 분야에서 다양한 비트 폭과 병렬 구성(예: 두 개의 병렬 모델)을 테스트하여 메모리, 계산량, 정확도 간 최적의 트레이드오프를 도출한다.
• 대규모 모델 대비 소규모 모델에서의 성능 비교를 통해 과적합에 대한 양자화의 영향을 분석하며, 대규모 모델에서는 과적합이 감소하고 소규모 모델에서는 악화됨을 관찰한다.
• 이 방법은 양자화를 정규화의 한 형태로 간주하며, 과도하게 파rameter화된 네트워크에서 일반화 능력을 향상시키기 위해 내재된 가중치 제약을 활용한다.

실험 결과

연구 질문

• RQ1 과도하게 파rameter화된 모델에서 양자화가 정확도 저하가 아니라 향상시키는 데 기여할 수 있는가?
• RQ2 다양한 DNN 응용 분야에서 메모리 사용량을 최소화하면서 정확도를 최대화하는 데 최적의 비트 폭는 무엇인가?
• RQ3 점진적 양자화는 대규모와 소규모 신경망에서 과적합에 어떤 영향을 미치는가?
• RQ4 양자화된 가중치를 갖는 병렬 모델 구성은 단일 모델 양자화를 넘어서 성능 향상을 이끌 수 있는가?
• RQ5 양자화 유도 정규화는 다양한 DNN 아키텍처와 작업에서 일관된 정확도 향상을 이끌 수 있는가?

주요 결과

• 생물의학 영상 분할 분야에서 MICCIA Gland 데이터셋에 대해 점진적 양자화가 1%의 정확도 향상을 이끌었으며, 기존 최고 성능 기준을 초월했다.
• VGG-16를 사용한 ImageNet-2012에서 8비트 고정점 양자화로 전체 정밀도 모델 대비 1.95%의 정확도 향상을 달성했다.
• TIMIT 데이터셋에서 자동 음성 인식 작업에 대해 Deep Speech 모델을 사용한 양자화로 정확도가 4.23% 향상되었다.
• 모든 세 응용 분야에서 메모리 사용량이 3.5배에서 6.4배 감소하여 뚜렷한 압축 효율성을 입증했다.
• 최적의 성능는 최저 또는 최고 비트 폭이 아닌 중간 비트 폭(예: 6~7비트)에서 달성되었으며, 이는 정규화와 표현 능력 간의 트레이드오프를 시사한다.
• 대규모 모델에서는 과적합이 감소했지만, 소규모 모델에서는 성능이 악화되어, 이 방법이 정규화 메커니즘으로서의 역할을 확인했다.