[논문 리뷰] Quantization and Training of Low Bit-Width Convolutional Neural Networks for Object Detection

Penghang Yin, Shuai Zhang외 2명|arXiv (Cornell University)|2016. 12. 19.

Advanced Neural Network Applications참고 문헌 15인용 수 15

한 줄 요약

이 논문은 가중치가 0 또는 2의 거듭제곱으로 양자화되는 6비트 이하의 저비트 폭발 신경망을 훈련하기 위한 최적화 기반 방법인 LBW-Net을 제안한다. 2비트 네트워크의 경우 최소 제곱 오차 문제를 정확히 해결하고, 3비트 이상의 경우 단일 조정 가능한 매개변수를 가진 반분석적 임계값 설정 방식을 사용함으로써, PASCAL VOC 객체 검출에서 거의 손실 없는 정확도를 달성하면서도 4배 이상 빠른 추론 속도와 상당한 메모리 및 에너지 절감을 실현한다.

ABSTRACT

We present LBW-Net, an efficient optimization based method for quantization and training of the low bit-width convolutional neural networks (CNNs). Specifically, we quantize the weights to zero or powers of two by minimizing the Euclidean distance between full-precision weights and quantized weights during backpropagation. We characterize the combinatorial nature of the low bit-width quantization problem. For 2-bit (ternary) CNNs, the quantization of $N$ weights can be done by an exact formula in $O(N\log N)$ complexity. When the bit-width is three and above, we further propose a semi-analytical thresholding scheme with a single free parameter for quantization that is computationally inexpensive. The free parameter is further determined by network retraining and object detection tests. LBW-Net has several desirable advantages over full-precision CNNs, including considerable memory savings, energy efficiency, and faster deployment. Our experiments on PASCAL VOC dataset show that compared with its 32-bit floating-point counterpart, the performance of the 6-bit LBW-Net is nearly lossless in the object detection tasks, and can even do better in some real world visual scenes, while empirically enjoying more than 4$ imes$ faster deployment.

연구 동기 및 목표

• 모바일폰과 같은 자원이 제한된 장치에 대규모 고정밀도 CNN을 구현하는 데 도전하는 문제를 해결하기 위해.
• 모델 정확도를 유지하면서 효율적이고 정확하며 확장 가능한 저비트 폭발 CNN을 위한 양자화 방법을 개발하기 위해.
• 가중치 양자화로 인한 정확도 저하를 최소화하면서 동시에 계산 효율성과 메모리 절감을 극대화하기 위해.
• 최소 제곱 오차에만 기반하지 않고, 네트워크 재훈련 및 객체 검출 성능을 기반으로 최적의 양자화 매개변수를 결정하기 위해.

제안 방법

• 백프로파게이션 동안 전체 정밀도 가중치와 양자화된 가중치 간 유클리드 거리의 최소화를 통해 전체 정밀도 가중치를 0 또는 2의 거듭제곱으로 양자화한다.
• 2비트(삼항) 네트워크의 경우, 정렬 기반 접근 방식을 사용해 O(N log N) 시간 내에 최적의 양자화를 정확히 계산한다.
• 비트 폭이 ≥3인 경우, 단일 자유 매개변수 μ를 사용해 양자화 수준을 정의하는 반분석적 임계값 설정 방식을 도입한다.
• 스케일링 인자 s는 각 레이어의 정렬된 가중치 크기 분포와 μ로부터 해석적으로 유도된다.
• 매개변수 μ는 근사 오차만으로가 아니라 네트워크 재훈련 및 객체 검출 성능 평가를 통해 조정된다.
• 추가적인 저비용 임계값 설정 단계를 각 훈련 반복마다 수행하는, 변형된 투영 확률적 경사 하강법을 사용해 재훈련한다.

실험 결과

연구 질문

• RQ1 전체 정밀도 가중치에 대해 최소 제곱 기준으로 저비트 폭발 양자화 문제의 정확한 해를 도출할 수 있는가?
• RQ2 대규모 CNN에 대해 높은 비트 폭(≥3비트) 양자화의 조합 복잡도를 효과적으로 관리할 수 있는가?
• RQ3 높은 검출 정확도를 달성하기 위해 반분석적 양자화 방식의 자유 매개변수 μ의 최적 값은 무엇인가?
• RQ4 저비트 폭 네트워크(예: 6비트)가 객체 검출 작업에서 전체 정밀도 모델의 성능을 어느 정도 재현할 수 있는가?
• RQ5 0 또는 2의 거듭제곱 가중치를 사용하는 양자화 추론이 배포 속도와 효율성에 상당한 향상을 이끌 수 있는가?

주요 결과

• 6비트 LBW-Net은 PASCAL VOC 데이터셋에서 32비트 부동소수점 모델과 비교해 1% 이내의 정확도 손실로 객체 검출 성능을 달성한다.
• 2비트 네트워크의 경우 정확한 양자화 해가 O(N log N) 시간 내에 계산 가능하므로 효율적인 최적화가 가능하다.
• 비트 폭이 ≥4인 경우 최적의 매개변수 μ는 경험적으로 μ = (3/4) × ||W^f||_∞로 발견되었으며, 이는 큰 크기의 가중치를 정확하게 인코딩하는 데 우선순위를 두는 것을 의미한다.
• LBW-Net은 부동소수점 곱셈을 비트 시프트로 대체함으로써 전체 정밀도 모델 대비 4배 이상의 빠른 배포 속도를 제공한다.
• 실세계 시각적 환경에서 6비트 LBW-Net은 전체 정밀도 모델를 초월하는 성능을 보이며, 복잡한 특징에 대한 강건성을 시사한다.
• 이 방법은 초기 훈련 또는 부분적 온기 시작을 지원하며, 재훈련은 양자화로 인한 오차를 효과적으로 흡수하는 데에 유용하다.