[논문 리뷰] Join the High Accuracy Club on ImageNet with A Binary Neural Network Ticket

Nianhui Guo, Joseph Bethge외 2명|arXiv (Cornell University)|2022. 11. 23.

Advanced Neural Network Applications인용 수 5

한 줄 요약

이 논문은 Info-RCP 및 ELM-Attention 모듈을 갖춘 새로운 이진 아키텍처를 설계함으로써 ImageNet에서 80.57%의 top-1 정확도를 달성한 BNext를 소개한다. 또한 향상된 지식 증류와 현대화된 데이터 증강 기법을 통해 최적화를 향상시켜 이진 신경망의 일반적인 정확도 격차를 극복하고, 더 부드러운 손실 지도를 달성한다.

ABSTRACT

Binary neural networks are the extreme case of network quantization, which has long been thought of as a potential edge machine learning solution. However, the significant accuracy gap to the full-precision counterparts restricts their creative potential for mobile applications. In this work, we revisit the potential of binary neural networks and focus on a compelling but unanswered problem: how can a binary neural network achieve the crucial accuracy level (e.g., 80%) on ILSVRC-2012 ImageNet? We achieve this goal by enhancing the optimization process from three complementary perspectives: (1) We design a novel binary architecture BNext based on a comprehensive study of binary architectures and their optimization process. (2) We propose a novel knowledge-distillation technique to alleviate the counter-intuitive overfitting problem observed when attempting to train extremely accurate binary models. (3) We analyze the data augmentation pipeline for binary networks and modernize it with up-to-date techniques from full-precision models. The evaluation results on ImageNet show that BNext, for the first time, pushes the binary model accuracy boundary to 80.57% and significantly outperforms all the existing binary networks. Code and trained models are available at: https://github.com/hpi-xnor/BNext.git.

연구 동기 및 목표

• 이미지넷에서 이진 신경망(BNNs)과 정밀도가 높은 모델 간의 지속적인 정확도 격차를 해소하기 위해.
• ILSVRC-2012 ImageNet에서 BNN이 중요한 80% 이상의 top-1 정확도 기준을 달성할 수 있도록 하기 위해.
• 이진 신경망의 최적화 과정에서 발생하는 문제, 즉 거친 손실 지도와 훈련 중 과적합을 해결하기 위해.
• 이진 네트워크 전용으로 데이터 증강 및 지식 증류 기법을 현대화하기 위해.
• 이진 신경망이 표현 학습을 위한 강력한 특징 추출기로 활용될 수 있음을 입증하기 위해.

제안 방법

• 분산 격차를 줄이기 위해 이진화 이전과 이후의 배치 정규화(BatchNorm)와 PReLU를 사용하는 새로운 이진 처리 단위인 Info-RCP를 제안하며, 이후 정보 재결합을 위한 경량 주도 브랜치를 추가한다.
• 각 기본 블록 내에서 출력을 동적으로 校정하기 위해 곱셈을 사용하는 학습 가능한 요소별 비스킷(의미상의 병렬 경로)을 활용하는 ELM-Attention 모듈을 도입한다.
• 스테이지 단위의 깊이 및 너비 스케줄링을 적용하여 Info-RCP 및 ELM-Attention 블록을 반복적으로 스택함으로써 BNext 아키텍처 패밀리를 설계한다.
• KC(x)-기반의 교사 선택과 EfficientNet-B0 및 B2의 갭 민감한 앙상블을 활용하여 다각화된 연속 지식 증류(KD) 전략을 개발함으로써 학생 모델의 성능을 향상시킨다.
• Rand Augmentation을 주요 데이터 증강 전략으로 채택하여, BNN에서 Mixup 및 Cutmix보다 뛰어난 일반화 성능을 입증한다.
• 후기 양자화를 적용하여 신뢰도를 평가하며, SE 브랜치의 4비트 가중치를 사용하더라도 여전히 80.37%의 top-1 정확도를 유지한다.

실험 결과

연구 질문

• RQ1 기존 BNN이 달성하지 못한 바이너리 신경망이 이미지넷에서 80% 이상의 top-1 정확도를 달성할 수 있는가?
• RQ2 이진 신경망의 최적화 과정을 어떻게 개선하여 손실 지도의 거칠기를 줄이고, 국소 최적해에 갇히는 것을 방지할 수 있는가?
• RQ3 지식 증류가 BNN의 정확도 향상에 어떤 역할을 하는가? 그리고 이를 이진 네트워크에 최적화하기 위해 어떻게 설계할 수 있는가?
• RQ4 높은 정확도의 BNN을 훈련시키기 위해 가장 효과적인 데이터 증강 기법은 무엇이며, 표준 기법인 Mixup나 Cutmix는 잘 일반화되는가?
• RQ5 후기 양자화를 통해 정확도를 얼마나 유지할 수 있으며, 성능 저하 없이 BNN에서 정확도를 유지할 수 있는가?

주요 결과

• BNext-L은 ImageNet에서 80.57%의 top-1 정확도를 달성하여, 이중 신경망 중 처음으로 80% 기준선을 돌파한다.
• BNext-18 모델는 상당히 부드러운 손실 지도를 보이며, 전체 정밀도 ResNet-18과 유사한 경향을 보인다.
• KC(x)-기반 교사 선택 전략은 기존 ResNet-101 기반 표준 KD 대비 정확도를 0.57% 향상시킨다.
• 갭 민감한 앙상블 KD와 Rand Augmentation을 적용하면 각각 정확도가 0.05%와 0.08% 향상되며, 512 에포크로 연장 훈련을 수행할 경우 추가로 성능 향상(72.40% top-1)을 기록한다.
• Rand Augmentation만으로도 기준 모델 대비 정확도가 2.49% 향상되었으며, 반면 Mixup 및 Cutmix는 혼합 또는 부정적인 영향을 보였다.
• 8비트 가중치 및 활성화로 후기 양자화를 수행하더라도 정확도 저하가 0.10%에 그치며, SE 브랜치의 가중치를 4비트로 줄여도 여전히 80.37%의 top-1 정확도를 유지하여 80% 이상을 확보한다.