[논문 리뷰] Convolutional Neural Networks using Logarithmic Data Representation

Daisuke Miyashita, Edward H. Lee외 1명|arXiv (Cornell University)|2016. 03. 03.

Advanced Neural Network Applications참고 문헌 25인용 수 362

한 줄 요약

이 논문은 가중치와 활성화를 3–4비트까지 양자화하기 위해 로그 도메인 표현을 도입하고, 곱셈기를 줄여 거의 부동소수점 정확도에 근접한 성능을 얻으며 로그 기반 양자화로 엔드투엔드 학습을 시연한다.

ABSTRACT

Recent advances in convolutional neural networks have considered model complexity and hardware efficiency to enable deployment onto embedded systems and mobile devices. For example, it is now well-known that the arithmetic operations of deep networks can be encoded down to 8-bit fixed-point without significant deterioration in performance. However, further reduction in precision down to as low as 3-bit fixed-point results in significant losses in performance. In this paper we propose a new data representation that enables state-of-the-art networks to be encoded to 3 bits with negligible loss in classification performance. To perform this, we take advantage of the fact that the weights and activations in a trained network naturally have non-uniform distributions. Using non-uniform, base-2 logarithmic representation to encode weights, communicate activations, and perform dot-products enables networks to 1) achieve higher classification accuracies than fixed-point at the same resolution and 2) eliminate bulky digital multipliers. Finally, we propose an end-to-end training procedure that uses log representation at 5-bits, which achieves higher final test accuracy than linear at 5-bits.

연구 동기 및 목표

• 비균일한 가중치/활성 분포를 활용하여 저정밀 CNN의 필요성을 제시한다.
• 활성화, 가중치, 및 점곱에 대한 로그 도메인 표현을 제안하여 하드웨어 복잡성을 줄인다.
• 3–4비트 양자화와 비교 기준 고정소수점 대비 정확도 향상 또는 유사한 정확도를 시연한다.
• 다양한 로그 밑(예: 밑이 2, 밑이 √2)을 탐색하여 동적 범위와 정밀도의 균형을 맞춘다.
• 로그 도메인 표현과 양자화된 그래디언트를 사용하는 엔드투엔드 학습 절차를 제시한다.

제안 방법

• 점곱을 로그 도메인으로Represent하여 승수 대신 비트시프트를 활용한다(두 가지 변형: 단일 피연산자 로그와 이중 피연산자 로그).
• LogQuant 계층을 통해 로그2 공간에서 활성화와 가중치를 양자화하고, 동일 비트폭의 선형 양자화와 비교한다.
• 작은 x에 대해 log(1+x)≈x를 이용한 누적 전략으로 로그 도메인에서 합을 근사한다.
• 다양한 밑으로 산술을 일반화하여 넓은 동적 범위를 미세한 정밀도로 포착한다(밑-2 및 밑-√2).
• 그래디언트를 포함한 로그 도메인 표현으로 엔드투엔드 학습 접근법(알고리즘 1)을 개발한다.
• ILSVRC-2012용 AlexNet과 VGG16에서, CIFAR-10에서 5-비트 로그 네트워크로 평가한다.

실험 결과

연구 질문

• RQ1 활성화와 가중치를 3비트의 로그 도메인 표현으로 사용해 ImageNet 모델에서 32비트 부동 소수점 네트워크와 유사한 top-5 정확도를 달성할 수 있는가?
• RQ2 로그 도메인 양자화가 AlexNet과 VGG16에서 정확도와 강건성 측면에서 선형 양자화와 비교해 어떤 차이가 있는가?
• RQ3 밑이 √2인 로그 표현이 대역폭이 큰 동적 범위를 더 미세한 입실로 포착하는데 실용적 이점을 제공하는가?
• RQ4 양자화된 그래디언트를 포함한 로그 도메인 양자화로도 엔드투엔드 학습이 가능하여 성능의 큰 손실 없이 수행될 수 있는가?
• RQ5 로그 도메인에서의 합성 가중치 양자화와 완전 연결 가중치의 교차로에서 네트워크 크기와 정확도 간의 트레이드오프는 무엇인가?

주요 결과

• 3-비트 로그 활성화가 AlexNet과 VGG16에서 FP 성능에 근접한 결과를 보여주며 32-비트 부동소수점에 비해 작은 손실을 보인다.
• AlexNet의 경우 3-비트 로그 활성화는 76.9% 상위-5(fs r=7)로, 78.3% FP32 대비 낮고, 3-비트 선형은 77.1%(fsr=5)이다.
• VGG16의 경우 3-비트 로그 활성화는 89.2% 상위-5(fsr=6)로 89.8% FP32 대비 낮고, 3-비트 선형은 83.0%(fsr=3)이다.
• 4-비트 로그 활성화는 VGG16에서 FP32 성능(89.8% 상위-5, fsr=11)을 회복하고 4-비트 선형보다 AlexNet보다 더 잘 일치한다.
• conv 계층에서 5-비트 가중치 양자화 시 밑-2 대비 밑-√2가 정확도를 크게 향상시킴(AlexNet: 70.6% 밑-2 vs 75.1% 밑-√2; VGG16: 83.4% 밑-2 vs 89.0% 밑-√2).
• 학습을 5-비트 활성화/가중치/그래디언트의 로그 도메인 표현으로 CIFAR-10에 대해 수행하면 로그의 테스트 정확도 0.9379로 선형의 0.9253, BinaryNet의 0.8862를 상회한다.