[논문 리뷰] Training Compact Neural Networks with Binary Weights and Low Precision Activations

Bohan Zhuang, Chunhua Shen외 1명|arXiv (Cornell University)|2018. 08. 08.

Advanced Neural Network Applications참고 문헌 11인용 수 10

한 줄 요약

이 논문은 이진 가중치와 저해상도 활성화를 사용하여 모바일 디바이스에서 효율적인 추론을 위한 컴팩트한 신경망 아키텍처인 Group-Net을 제안한다. 다중 브랜치 저해상도 기반을 사용한 그룹별 특징 근사 전략을 통해 근사 손실이 없는 양자화를 달성하고, ResNet-18 및 ResNet-50 대비 FLOPs가 5배 이상 감소한 상태에서 ImageNet에서 이전의 이진 신경망을 능가한다.

ABSTRACT

In this paper, we propose to train a network with binary weights and low-bitwidth activations, designed especially for mobile devices with limited power consumption. Most previous works on quantizing CNNs uncritically assume the same architecture, though with reduced precision. However, we take the view that for best performance it is possible (and even likely) that a different architecture may be better suited to dealing with low precision weights and activations. Specifically, we propose a "network expansion" strategy in which we aggregate a set of homogeneous low-precision branches to implicitly reconstruct the full-precision intermediate feature maps. Moreover, we also propose a group-wise feature approximation strategy which is very flexible and highly accurate. Experiments on ImageNet classification tasks demonstrate the superior performance of the proposed model, named Group-Net, over various popular architectures. In particular, with binary weights and activations, we outperform the previous best binary neural network in terms of accuracy as well as saving more than 5 times computational complexity on ImageNet with ResNet-18 and ResNet-50.

연구 동기 및 목표

• 에너지 및 메모리 제약이 엄격한 모바일 디바이스에 정확하고 저복잡도의 신경망을 구현하는 데 도전한다.
• 기존의 국소 재구성만 최적화하는 저해상도 신경망에서 누적 양자화 오차로 인한 정확도 저하 문제를 해결한다.
• 기존 정밀도 모델을 직접 양자화하는 것이 아니라, 이진 및 저해상도 추론에 특화된 새로운 네트워크 아키텍처를 설계한다.
• 특징 재구성과 최종 분류 손실을 동시에 최적화하는 엔드 투 엔드 훈련을 가능하게 하여 레이어 단위 양자화보다 일반화 성능을 향상시킨다.
• 다양한 아키텍처에 적용 가능한 유연하고 하드웨어 友好的한 구조를 개발하여 병렬 추론을 지원한다.

제안 방법

• 각 그룹당 다수의 동일한 저해상도 브랜치를 사용한 네트워크 확장 전략을 제안하여 전체 정밀도 특징 맵을 암묵적으로 재구성한다.
• 중간 특징을 이진 기반의 가중치 합으로 모델링하는 그룹별 특징 근사 방법을 도입하여 정확하고 미분 가능한 재구성을 가능하게 한다.
• 각 그룹 내 다수의 저해상도 브랜치 출력을 결합하기 위해 학습 가능한 집계 메커니즘(가중치 $\theta_m^p$)을 활용한다.
• 양자화 과정을 통해 역전파가 가능한 양자화 함수를 가중치(Eq. 1) 및 활성화(Eq. 2)에 적용한다.
• 각 저해상도 컨볼루션 후 배치 정규화와 활성화 양자화를 적용하고, 다음 그룹으로 전달하기 전에 최종 출력을 양자화한다.
• SGD를 사용해 전체 네트워크를 엔드 투 엔드로 훈련하며, 기반 가중치 $\mathbf{w}_{mi}^p$, 이진 가중치 $\mathbf{b}_{mi}^p$, 집계 가중치 $\theta_m^p$를 별도로 최적화한다.

실험 결과

연구 질문

• RQ1 저해상도 구성 요소를 갖는 재구성된 네트워크 아키텍처가 전체 정밀도 모델의 직접 양자화에 비해 정확도와 효율성 측면에서 뛰어나게 되는가?
• RQ2 이진 신경망에서 레이어 단위 양자화에 비해 그룹별 특징 근사 전략이 누적 양자화 오차를 줄이는가?
• RQ3 각 그룹당 저해상도 기반의 수가 정확도와 계산 복잡도 간의 트레이드오프에 어떤 영향을 미치는가?
• RQ4 제안된 방법이 앙상블 네트워크(AlexNet)와 잔차 네트워크(ResNet)를 포함한 다양한 네트워크 아키텍처로 일반화 가능한가?
• RQ5 ImageNet에서 FLOPs를 5배 이상 감소시키면서도 이진 가중치와 저비트 폭 활성화를 유지하면서 높은 정확도를 유지를 할 수 있는가?

주요 결과

• Group-Net은 이진 가중치와 활성화를 사용하여 ImageNet에서 상위-1 정확도 57.3%를 달성하며, 이는 이전 최고 성능의 이진 신경망을 능가한다.
• ResNet-18 및 ResNet-50에서 제안된 방법은 전체 정밀도 기반 모델과 비교해 FLOPs를 5배 이상 감소시키면서도 정확도를 유지하거나 향상시킨다.
• 그룹별 전략은 레이어 단위 양자화보다 뚜렷이 우수하며, AlexNet에서 상위-1 정확도 3%p 향상(57.3% 대비 54.2%)과 더불어 빠른 수렴을 보였다.
• 이 방법은 평탄한 네트워크(AlexNet)와 잔차 네트워크(ResNet-18, ResNet-50)에 걸쳐 잘 일반화되며, 광범위한 적용 가능성을 보였다.
• 제거 실험을 통해 기반 수를 늘일수록 정확도가 향상되며, 저해상도 환경에서 레이어 단위 양자화보다 그룹별 접근 방식이 더 강건함을 확인했다.