[논문 리뷰] Intra-layer Nonuniform Quantization for Deep Convolutional Neural Network

Fangxuan Sun, Jun Lin외 1명|arXiv (Cornell University)|2016. 07. 10.

Advanced Image and Video Retrieval Techniques인용 수 5

한 줄 요약

이 논문은 활성화 분포 특성의 특성을 활용하여 딥 컨volution 신경망(DCNNs)의 메모리 저장을 줄이기 위해 내층 비균일 양자화 기법—등거리 비균일 양자화(ENQ) 및 K-me안 클러스터링 기반 비균일 양자화(KNQ)—을 제안한다. KNQ 기법은 VGG-16과 AlexNet에서 최대 50%의 메모리 절감을 이룩하면서 정확도 손실가 2% 미만으로, 이전의 최상위 기법들을 능가한다.

ABSTRACT

Deep convolutional neural network (DCNN) has achieved remarkable performance on object detection and speech recognition in recent years. However, the excellent performance of a DCNN incurs high computational complexity and large memory requirement. In this paper, an equal distance nonuniform quantization (ENQ) scheme and a K-means clustering nonuniform quantization (KNQ) scheme are proposed to reduce the required memory storage when low complexity hardware or software implementations are considered. For the VGG-16 and the AlexNet, the proposed nonuniform quantization schemes reduce the number of required memory storage by approximately 50\% while achieving almost the same or even better classification accuracy compared to the state-of-the-art quantization method. Compared to the ENQ scheme, the proposed KNQ scheme provides a better tradeoff when higher accuracy is required.

연구 동기 및 목표

• 저복잡도 하드웨웨어 또는 소프트웨어 구현 환경에서 딥 컨volution 신경망(DCNN) 활성화에 대한 메모리 저장 요구량을 줄이기 위해.
• VGG-16 및 AlexNet과 같은 깊은 네트워크에서 전정밀도 활성화로 인한 높은 메모리 점유율 문제를 해결하기 위해.
• 활동 분포에 더 잘 부합하는 계층별 비균일 양자화를 가능하게 함으로써 기존의 양자화 기법을 향상시키기 위해.
• 정확도와 메모리 사용량 사이의 하드웨어 우호적인 트레이드오프를 계층별 적응형 양자화를 통해 제공하기 위해.
• 최신 기법들과 비교해 분류 정확도를 유지하거나 향상시키면서도 상당한 메모리 절감 효과를 입증하기 위해.

제안 방법

• 각 계층의 활성화 분포 통계에 기반해 등거리 간격을 사용하는 내층 비균일 양자화 기법인 등거리 내층 비균일 양자화(ENQ)를 제안한다.
• 활동 값에 대해 K-means를 적용하여 클러스터 중심을 결정함으로써 양자화 오차를 최소화하는 K-means 클러스터링 기반 내층 비균일 양자화(KNQ)를 도입한다.
• 활동 분포 분산에 기반한 계층별 비트 폭 할당을 적용하여 정확도 수준 당 최소한의 메모리 사용량을 최적화한다.
• 클러스터링 또는 등거리 양자화 이전에 정규화 또는 스케일링과 같은 사전 처리 기법을 적용하여 양자화 정확도를 향상시킨다.
• TSMC 90nm CMOS 구현을 통해 하드웨어 오버헤드를 평가하여, 양자화 유닛의 면적과 핵심 경로 지연이 낮음을 입증한다.
• 이전 연구와의 비교를 위해 정규화된 비트 수(NNB)와 절대 메모리 크기(NB)를 사용하여, 교차 계층 비균일 양자화 [13]를 포함한 기존 기법과의 성능을 평가한다.

실험 결과

연구 질문

• RQ1 내층 비균일 양자화가 교차 계층 접근 방식보다 DCNN 활성화의 메모리 저장을 더 효과적으로 줄일 수 있는가?
• RQ2 K-means 클러스터링 기반 양자화가 활성화 양자화에서 등거리 양자화보다 더 높은 정확도와 메모리 효율성을 제공하는가?
• RQ3 VGG-16과 AlexNet에서 높은 분류 정확도를 유지하면서 메모리 사용을 어느 정도 줄일 수 있는가?
• RQ4 사전 처리 기법이 비균일 양자화 기법의 정확도 및 비트 할당 측면에서 성능에 어떤 영향을 미치는가?
• RQ5 KNQ의 하드웨어 복잡도는 ENQ 및 이전의 최상위 기법들과 비교해 어떤가?

주요 결과

• KNQ 기법은 [13]의 최신 기법 대비 약 50%의 메모리 절감을 이룩하여 VGG-16의 경우 8.4 MB(비교 기준 16.8 MB), AlexNet의 경우 0.48 MB(비교 기준 1.12 MB)를 기록한다.
• VGG-16에서 KNQ는 활성화당 5비트로도 86.58%의 탑-5 정확도를 달성하며, [13] 기법보다 정확도에서 0.36% 높은 성능을 보인다.
• ENQ 기법은 [13] 대비 50%의 메모리 절감을 이룩하여 VGG-16의 경우 9.5 MB, AlexNet의 경우 0.48 MB를 기록하며, 반정밀도 부동소수점 모델 대비 정확도 손실은 오직 1.9%에 불과하다.
• 사전 처리를 적용한 KNQ는 VGG-16의 탑-5 정확도를 5비트로 86.58%까지 향상시키며, AlexNet의 경우 3비트로 78.23%의 정확도를 달성한다.
• KNQ 유닛의 하드웨어 구현은 7.5 mm²의 면적과 0.65 ns의 핵심 경로 지연을 보이며, 임베디드 배포에 있어 낮은 오버헤드를 제공한다.
• ENQ와 KNQ 모두 VGG-16 및 AlexNet에서 전정밀도 부동소수점 모델 대비 정확도 저하가 2% 미만으로 유지된다.