[논문 리뷰] XNOR-Net++: Improved Binary Neural Networks

Adrian Bulat, Georgios Tzimiropoulos|arXiv (Cornell University)|2019. 09. 30.

Advanced Neural Network Applications참고 문헌 42인용 수 119

한 줄 요약

XNOR-Net++는 이진 가중치와 활성화에 대해 단일 구별 가능한 스케일링 팩터를 학습하고, 팩터 형태를 탐색하여 정확도를 높이며; 동일 예산 내에서 ResNet-18으로 ImageNet에서 최대 6% 절대 이득을 달성합니다.

ABSTRACT

This paper proposes an improved training algorithm for binary neural networks in which both weights and activations are binary numbers. A key but fairly overlooked feature of the current state-of-the-art method of XNOR-Net is the use of analytically calculated real-valued scaling factors for re-weighting the output of binary convolutions. We argue that analytic calculation of these factors is sub-optimal. Instead, in this work, we make the following contributions: (a) we propose to fuse the activation and weight scaling factors into a single one that is learned discriminatively via backpropagation. (b) More importantly, we explore several ways of constructing the shape of the scale factors while keeping the computational budget fixed. (c) We empirically measure the accuracy of our approximations and show that they are significantly more accurate than the analytically calculated one. (d) We show that our approach significantly outperforms XNOR-Net within the same computational budget when tested on the challenging task of ImageNet classification, offering up to 6\% accuracy gain.

연구 동기 및 목표

• ImageNet과 같은 대규모 데이터셋에서 완전히 이진화된 네트워크의 정확도 향상을 모티브로 삼는다.
• analytic 스케일링을 대체하기 위해 이진 합성곱에 대해 구별적으로 학습된 융합 스케일링 팩터를 제안한다.
• 표현력과 계산 예산의 균형을 맞추기 위해 스케일링 팩터 Gamma의 다양한 형태를 탐색한다.
• 동일 예산 하에서 얕은 네트워크와 깊은 네트워크에서의 성능 향상을 보여준다.
• 이전 이진 네트워크 접근법에 비해 정확도와 효율성의 향상을 정량화한다.

제안 방법

• 활성화 및 가중치 스케일링 팩터를 단일 Gamma로 합쳐 역전파를 통해 학습한다.
• 테스트 시 비용을 고정한 채 표현력을 다르게 하는 Gamma의 네 가지 구성(사례 1–4)을 제안한다.
• 구별적으로 학습된 Gamma가 해석적 스케일링보다 양자화 오차를 더 낮게 만들음을 보인다.
• AlexNet와 ResNet-18 모두를 대상으로 완전히 이진화된 regime에서 ImageNet에서 평가한다.
• 이전 XNOR-Net과 비교한 이론적 속도 향상 및 저장 공간 측면의 효율성 분석을 제공한다.

실험 결과

연구 질문

• RQ1 단일 구별 가능한 스케일링 팩터 Gamma를 학습하는 것이 XNOR-Net에서 해석적으로 계산된 스케일링보다 더 나은가?
• RQ2 다양한 Gamma 형태(Case 1–4)가 정확도와 파라미터 효율성에 어떤 영향을 미치는가?
• RQ3 이진화되었을 때 네트워크 아키텍처(AlexNet와 ResNet-18)에 대해 개선된 학습 방식이 무관한가?
• RQ4 고정 예산 하에서 XNOR-Net에 비해 XNOR-Net++의 실용적 속도 증가 및 메모리 이점은 무엇인가?

주요 결과

• XNOR-Net++는 ResNet-18을 사용한 ImageNet에서 최첨단 XNOR-Net에 비해 최대 6% 절대 Top-1 정확도 이득을 달성한다.
• 단일 Gamma를 학습하는 것이 이진 컨볼루션과 실수값 컨볼루션 간 재구성 오차를 크게 줄여 해석적 스케일링보다 우수한 성능을 보여준다.
• Gamma 형태 중, Case 4(alpha⊗beta⊗gamma)이 제안된 구성들 중에서 가장 높은 정확도를 제공한다.
• Bi-binaraized 네트워크가 XNOR-Net++로 이전 이진 네트워크보다 ImageNet에서 더 나은 성능을 보이며, 효율성 면에서도 경쟁력 있고 메모리 절감(약 64배)을 달성한다.
• 제안된 Gamma 구성은 해석적 기준선보다 L1 재구성 오차가 더 낮은 경향을 보인다.