[논문 리뷰] XNOR-Net: ImageNet Classification Using Binary Convolutional Neural Networks

Mohammad Rastegari, Vicente Ordóñez외 2명|arXiv (Cornell University)|2016. 03. 16.

Advanced Neural Network Applications참고 문헌 36인용 수 285

한 줄 요약

이 논문은 Binary-Weight-Networks와 XNOR-Networks를 제시하여 가중치를 이진화하고(XNOR의 경우 입력도 이진화) 메모리와 계산을 대폭 줄이면서 ImageNet 정확도를 거의 풀정밀 네트워크와 근접하게 유지합니다. XNOR-Nets은 제한된 리소스 디바이스에서 CPU 기반의 실시간 추론을 가능하게 합니다.

ABSTRACT

We propose two efficient approximations to standard convolutional neural networks: Binary-Weight-Networks and XNOR-Networks. In Binary-Weight-Networks, the filters are approximated with binary values resulting in 32x memory saving. In XNOR-Networks, both the filters and the input to convolutional layers are binary. XNOR-Networks approximate convolutions using primarily binary operations. This results in 58x faster convolutional operations and 32x memory savings. XNOR-Nets offer the possibility of running state-of-the-art networks on CPUs (rather than GPUs) in real-time. Our binary networks are simple, accurate, efficient, and work on challenging visual tasks. We evaluate our approach on the ImageNet classification task. The classification accuracy with a Binary-Weight-Network version of AlexNet is only 2.9% less than the full-precision AlexNet (in top-1 measure). We compare our method with recent network binarization methods, BinaryConnect and BinaryNets, and outperform these methods by large margins on ImageNet, more than 16% in top-1 accuracy.

연구 동기 및 목표

• 자원 제약이 있는 디바이스에서 ImageNet에서 큰 정확도 손실 없이 효율적인 CNN을 모티브로 삼는다.
• Binary-Weight-Networks(가중치가 이진화되고)과 XNOR-Networks(가중치와 입력이 이진화되는) 두 가지 이진화 스킴을 제안한다.
• 이진 근사화가 ImageNet에서 경쟁력 있는 성능과 상당한 속도향상/메모리 절감을 달성할 수 있음을 입증한다.

제안 방법

• 합성곱을 이진 연산으로 근사하고 스케일링 계수를 사용한다; Binary-Weight-Networks의 경우 W ≈ αB with B ∈ {+1,−1}^n and α ∈ R^+.
• 최적의 B를 sign(W)로, α를 (1/n) ||W||_1로 도출한다.
• Forward/backward 패스 중 가중치를 이진화하여 Binary-Weight-Network를 훈련하되 업데이트에는 실수값 가중치를 유지한다.
• 입력과 가중치가 모두 이진화된 XNOR-Network로 확장; dot product를 XNOR 및 비트 카운팅으로 근사하고, 서브토템별 스케일링 계수 β와 α를 둔다.
• β를 효율적으로 계산하는 방법: 입력의 평균 절대값을 정규화 커널과 컨볼로해 모든 서브토템에 걸친 스케일링을 얻는다.
• Binary convolution 이후 비이진 Activation을 허용하여 정확도를 높이기 위한 이진 활성화/그래디언트 프레임워크로 XNOR-Network를 훈련한다.

실험 결과

연구 질문

• RQ1 CNN을 이진 가중치로 학습해도 ImageNet에서 경쟁력 있는 정확도를 유지할 수 있는가?
• RQ2 가중치와 입력을 모두 이진화한 Fully Binary 네트워크가 CPU에서 상당한 속도향상을 제공하면서 정확도를 유지하는가?
• RQ3 학습 및 추론 중 이진화 및 스케일링 계수의 사용에서 어떤 트레이드오프가 있는가?
• RQ4 Binary-Weight-Networks와 XNOR-Networks가 대규모 데이터셋에서 기존의 이진화 방법과 비교하여 어떤 차이를 보이는가?

주요 결과

• Binary-Weight-Networks는 실험에서 ImageNet에서 풀정밀 AlexNet의 정확도와 일치할 수 있다.
• XNOR-Networks는 메모리를 크게 줄이고 CPU 기반의 실시간 추론을 가능하게 하며, 고정밀 연산 기준으로 최대 약 58×의 속도 향상을 보고한다.
• XNOR-Nets는 ImageNet 상위-1 정확도에서 이전의 이진화 방법들(BinaryConnect 및 BinaryNet)을 크게 앞지르는 성능 향상을 보인다(상대적으로 16% 이상 개선으로 인용).
• 가중치에 대한 스케일링 계수 α를 사용하는 것이 입력에 대한 스케일링 β보다 정확도에 더 큰 영향을 미친다.
• Binary-gradient 버전(학습에서 이진 그래디언트를 사용하는)은 보고된 설정에서 상위 1 정확도를 약 1.4% 정도만 감소시킨다.
• 실험은 AlexNet, ResNet-18, GoogLeNet 변형을 다루며, 완전 정밀도에서 이진 표현으로 이동할 때의 감소를 다양하게 보여준다.