[논문 리뷰] A High-Performance Adaptive Quantization Approach for Edge CNN Applications

Hsu-Hsun Chin, Ren‐Song Tsay외 1명|arXiv (Cornell University)|2021. 07. 18.

Infrared Target Detection Methodologies참고 문헌 54인용 수 4

한 줄 요약

이 논문은 엣지 최적화된 CNN에서 편향된 활성화로 인한 정확도 손실을 줄이기 위해 4비트 정수 추론 중 스케일링 및 시프팅 인자를 동적으로 조정하는 적응형 양자화 방법을 제안한다. ImageNet, COCO 및 PTB 벤치마크에서 평가된 결과, 이 방법은 상태기준 정확도를 달성하며, 일부 사례에서는 전기 정밀도 모델을 초월한다. 이는 자원이 매우 제한된 엣지 디바이스에 배포 가능한 것으로 확인되었다.

ABSTRACT

Recent convolutional neural network (CNN) development continues to advance the state-of-the-art model accuracy for various applications. However, the enhanced accuracy comes at the cost of substantial memory bandwidth and storage requirements and demanding computational resources. Although in the past the quantization methods have effectively reduced the deployment cost for edge devices, it suffers from significant information loss when processing the biased activations of contemporary CNNs. In this paper, we hence introduce an adaptive high-performance quantization method to resolve the issue of biased activation by dynamically adjusting the scaling and shifting factors based on the task loss. Our proposed method has been extensively evaluated on image classification models (ResNet-18/34/50, MobileNet-V2, EfficientNet-B0) with ImageNet dataset, object detection model (YOLO-V4) with COCO dataset, and language models with PTB dataset. The results show that our 4-bit integer (INT4) quantization models achieve better accuracy than the state-of-the-art 4-bit models, and in some cases, even surpass the golden full-precision models. The final designs have been successfully deployed onto extremely resource-constrained edge devices for many practical applications.

연구 동기 및 목표

• 양자화된 엣지 CNN에서 편향된 활성화로 인한 심각한 정확도 저하 문제를 해결하기 위해.
• 모델 성능을 희생시키지 않고 자원 제약이 심한 엣지 환경에서 메모리 대역폭과 계산 비용을 줄이기 위해.
• 학습 중 태스크별 손실에 따라 적응형 양자화 전략을 개발하기 위해.
• 자원이 극도로 제한된 엣지 디바이스에서 고정확도 4비트 추론을 가능하게 하기 위해.
• 기존의 4비트 양자화 방법을 뛰어나며, 일부 사례에서는 전기 정밀도 모델을 초월하기 위해.

제안 방법

• 학습 중 태스크 손실 피드백에 기반해 스케일링 및 시프팅 인자를 동적으로 조정하는 방법이다.
• 기울기 기반 최적화를 통해 각 레이어별로 적응 가능한 학습 가능한 양자화 함수를 도입한다.
• 비균일하고 비대칭적인 양자화 방식을 사용하여 활성화 분포의 특성을 유지한다.
• 백프로파게이션을 통해 스케일링 및 시프팅 파라미터를 업데이트하여 피니튜닝 중 태스크 손실을 최소화한다.
• 표준 CNN 아키텍처와의 호환성을 유지하면서, 후기 양자화 및 피니튜닝 과정에 적용된다.
• 여러 모델에 대해 평가되었으며, ResNet, MobileNet-V2, EfficientNet-B0, YOLO-V4 및 PTB에서의 언어 모델이 포함된다.

실험 결과

연구 질문

• RQ1 4비트 양자화된 엣지 CNN에서 양자화 인자 조정을 동적으로 조절함으로써 정확도 손실을 줄일 수 있는가?
• RQ2 태스크 손실 기반 적응형 스케일링 및 시프팅이 고정된 양자화 방식보다 어떻게 비교되는가?
• RQ3 4비트 양자화 모델이 전기 정밀도 모델과 비교해 정확도가 유사하거나 이를 초월할 수 있는가?
• RQ4 이 방법이 자원이 극도로 제한된 엣지 디바이스에 얼마나 잘 적용될 수 있는가?
• RQ5 이 적응형 양자화 방법이 다양한 CNN 아키텍처와 작업에 대해 일반화 가능한가?

주요 결과

• 제안된 4비트 양자화 방법은 ImageNet에서 최신 4비트 양자화 기준 모델보다 높은 Top-1 정확도를 달성한다.
• 여러 사례에서 4비트 모델이 전기 정밀도 대비 모델의 정확도를 뛰어넘었으며, 특히 ResNet-18 및 MobileNet-V2에서 두드러졌다.
• 이 방법은 이미지 분류, 객체 검출(YOLO-V4 on COCO), 언어 모델링(PTB) 등 다양한 작업에서 높은 성능을 유지한다.
• 최종적으로, 양자화된 모델은 자원이 극도로 제한된 엣지 디바이스에 성공적으로 배포되어 실용적 타당성이 확인되었다.
• 특히 더 깊고 현대적인 CNN에서 편향된 활성화로 인한 정보 손실을 스케일링 및 시프팅 인자의 적응 조정이 크게 줄였다.
• 이 방법은 다양한 네트워크 아키텍처와 데이터셋에서 뛰어난 강건성과 일반화 능력을 보였다.