[논문 리뷰] MeliusNet: Can Binary Neural Networks Achieve MobileNet-level Accuracy?

Joseph Bethge, Christian Bartz외 3명|arXiv (Cornell University)|2020. 01. 16.

Advanced Neural Network Applications참고 문헌 48인용 수 75

한 줄 요약

MeliusNet은 DenseBlock과 ImprovementBlock으로 구성된 이진 신경망 아키텍처를 도입하여 특징 용량과 품질을 향상시키고, ImageNet에서 유사한 모델 크기 및 연산으로 MobileNet-v1 수준의 정확도를 달성합니다.

ABSTRACT

Binary Neural Networks (BNNs) are neural networks which use binary weights and activations instead of the typical 32-bit floating point values. They have reduced model sizes and allow for efficient inference on mobile or embedded devices with limited power and computational resources. However, the binarization of weights and activations leads to feature maps of lower quality and lower capacity and thus a drop in accuracy compared to traditional networks. Previous work has increased the number of channels or used multiple binary bases to alleviate these problems. In this paper, we instead present an architectural approach: MeliusNet. It consists of alternating a DenseBlock, which increases the feature capacity, and our proposed ImprovementBlock, which increases the feature quality. Experiments on the ImageNet dataset demonstrate the superior performance of our MeliusNet over a variety of popular binary architectures with regards to both computation savings and accuracy. Furthermore, with our method we trained BNN models, which for the first time can match the accuracy of the popular compact network MobileNet-v1 in terms of model size, number of operations and accuracy. Our code is published online at https://github.com/hpi-xnor/BMXNet-v2

연구 동기 및 목표

• ImageNet에서 이진 신경망(BNN)과 소형 네트워크 간의 정확도 차이를 해결한다.
• BNN에 특화된 특징 용량과 품질을 높이는 아키텍처 솔루션을 제안한다.
• 정확도를 보존하거나 향상시키면서 잔여 32비트 계층의 계산 부담을 줄인다.
• 모델 크기, FLOPs, 정확도 측면에서 BNN이 MobileNet-v1–level 성능에 도달할 수 있음을 입증한다.

제안 방법

• MeliusNet을 도입하고 DenseBlocks(특징 용량 증가)과 ImprovementBlocks(특징 품질 증가)를 번갈아 배치한다.
• DenseBlock당 64개의 새로운 이진 채널을 특징 맵에 연결하여, 잔차 연결이 있는 64채널 이진 ImprovementBlock으로 이 특징을 다듬는다.
• 모델 크기를 증가시키지 않으면서 32비트 연산을 대폭 줄이기 위해 7x7 컨볼루션을 세 개의 그룹화된 3x3 컨볼루션으로 바꾸는 그룹드 스템 접근법으로 처음 계층을 재설계한다.
• 초기, 최종 및 일부 다운샘플링 컨볼루션의 이진화를 피하여 정확성을 보존하고, 경험적 연구에 기반한 채널별 스케일링 인자도 제외한다.
• ImageNet에서 특정 STE 기반 이진화와 함께 모델을 처음부터 학습시키며, Adam/RAdam 옵티마이저와 코사인 학습률 스케줄링, 필요 시 워밍업을 포함한다.

실험 결과

연구 질문

• RQ1 Can a binary neural network architecture be designed to match MobileNet-v1 in accuracy at comparable size and compute on ImageNet?
• RQ2 Do architectural innovations tailored for BNNs (capacity-increasing blocks and quality-improving blocks) yield measurable gains over prior binary architectures?
• RQ3 Does a grouped-stem 32-bit layer design reduce operations enough to close the gap with compact networks without sacrificing accuracy?
• RQ4 Are improvements in BNN performance specific to binary architectures, or do they extend to 32-bit networks as well?

주요 결과

• MeliusNet은 ImageNet에서 유사한 모델 크기와 연산 수에서 이전의 이진 아키텍처를 지속적으로 능가한다.
• 그룹드 스템은 테스트된 모든 모델에서 32비트 연산을 크게 줄이면서 정확도를 높인다.
• MeliusNet의 32비트 버전은 DenseNet에 비해 개선이 나타나지 않아 이점이 BNN에 특화된다는 것을 시사한다.
• MeliusNet 구성은 여러 대상 크기/연산에 대해 MobileNet-v1 정확도와 일치할 수 있어 소형 네트워크와의 경쟁적 동등성을 보여준다.
• 제안된 그룹드 스템과 MeliusNet 아키텍처의 조합은 BNN과 MobileNet-v1 사이의 정확도 격차를 좁히고 적합한 하드웨어에서 에너지 절감 가능성을 시사한다.