[논문 리뷰] MoBiNet: A Mobile Binary Network for Image Classification

Hai Thanh Phan, Dang Huynh외 3명|arXiv (Cornell University)|2019. 07. 29.

Advanced Neural Network Applications참고 문헌 60인용 수 15

한 줄 요약

MoBiNet는 이동 기기에서 효율적인 추론을 위해 MobileNet의 depthwise 및 pointwise 컨볼루션을 이진화하는 새로운 이동 이진 신경망을 제안한다. Pre-block, Mid-block 및 Post-block 설계를 통해 스킵 커넥션을 도입하고 K-의존성을 활용해 특징 상관관계를 향상시킴으로써, 사전 학습된 가중치 없이 무작위 초기화 상태에서부터 학습을 수행함으로써 ImageNet에서 54.40%의 top-1 정확도를 달성하였으며, 3.13×의 속도 향상과 1.34×의 모델 압축을 달성하였다.

ABSTRACT

MobileNet and Binary Neural Networks are two among the most widely used techniques to construct deep learning models for performing a variety of tasks on mobile and embedded platforms.In this paper, we present a simple yet efficient scheme to exploit MobileNet binarization at activation function and model weights. However, training a binary network from scratch with separable depth-wise and point-wise convolutions in case of MobileNet is not trivial and prone to divergence. To tackle this training issue, we propose a novel neural network architecture, namely MoBiNet - Mobile Binary Network in which skip connections are manipulated to prevent information loss and vanishing gradient, thus facilitate the training process. More importantly, while existing binary neural networks often make use of cumbersome backbones such as Alex-Net, ResNet, VGG-16 with float-type pre-trained weights initialization, our MoBiNet focuses on binarizing the already-compressed neural networks like MobileNet without the need of a pre-trained model to start with. Therefore, our proposal results in an effectively small model while keeping the accuracy comparable to existing ones. Experiments on ImageNet dataset show the potential of the MoBiNet as it achieves 54.40% top-1 accuracy and dramatically reduces the computational cost with binary operators.

연구 동기 및 목표

• 최소한의 계산 비용으로 이동 및 임베디드 환경에 최적화된 경량 이진 신경망을 개발하기 위해.
• 깊이 분리형 컨볼루션을 갖춘 이진 네트워크 학습의 과제를 해결하기 위해, 기울기 소실 및 정보 손실에 취약한 아키텍처의 문제를 해결하기 위해.
• 사전 학습된 가중치가 필요 없도록, 이진화된 MobileNet 아키텍처에서 무작위 초기화 상태에서부터 종단 간 학습을 가능하게 하기 위해.
• 이중화된 분리형 컨볼루션 레이어 간에 K-의존성을 도입하여 이진 네트워크의 특징 표현을 향상시키기 위해.
• 최신 기술 수준의 이진 네트워크와 유사한 정확도와 효율성을 확보하면서도, 매우 작은 모델 크기를 유지하기 위해.

제안 방법

• MoBiNet는 MobileNet의 depthwise 및 pointwise 컨볼루션에서 가중치와 활성화 모두를 이진화하는 이진 신경망을 제안한다.
• 기울기 소실을 완화하기 위해 스킵 커넥션을 활용하는 세 가지 블록 설계 — Pre-block, Mid-block, Post-block — 를 도입한다.
• 분리형 컨볼루션에서의 채널 간 상관관계를 향상시키기 위해 K-의존성을 활용하여 특징 표현을 개선하고, FLOPs의 증가를 최소한으로 유지한다.
• 사전 학습된 모델을 피하는 새로운 학습 방식을 적용하여, 무작위 초기화 상태에서부터 완전한 학습을 가능하게 한다.
• 추론 속도 향상과 메모리 사용 감소를 위해 이진 연산자(XNOR 및 popcount)를 활용한다.
• 채널별 스케일링과 잔차 연결을 적용하여 레이어 간 원본 및 변환된 특징을 모두 유지한다.

실험 결과

연구 질문

• RQ1 사전 학습된 가중치 없이, MobileNet과 같은 깊이 분리형 컨볼루션 아키텍처에서 이진 신경망을 효과적으로 무작위 초기화 상태에서부터 학습시킬 수 있는가?
• RQ2 다양한 구성(Pre-, Mid-, Post-block)의 스킵 커넥션은 이진 MobileNet의 학습 안정성과 모델 정확도에 어떤 영향을 미치는가?
• RQ3 K-의존성은 이진화된 분리형 컨볼루션에서 특징 표현과 정확도에 어떤 영향을 미치는가?
• RQ4 MoBiNet는 Bi-RealNet 및 XNOR-Net과 같은 기존 최신 기술 수준의 이진 네트워크와 비교해 정확도와 효율성 면에서 어떻게 다른가?
• RQ5 완전히 이진화된 MobileNet은 최소한의 계산 비용과 모델 크기로 경쟁 가능한 성능을 달성할 수 있는가?

주요 결과

• MoBiNet는 Mid-block 설계와 K=4를 사용할 경우 ImageNet에서 54.40%의 top-1 정확도를 달성하였으며, Bi-RealNet를 제외한 대부분의 이전 이진 네트워크를 초월한다.
• Bi-RealNet-18 대비 3.13×의 속도 향상과 1.34×의 모델 압축을 달성하였으며, 정확도 격차는 오직 2%에 불과하다.
• 무작위 초기화 상태에서의 학습이 가능하고 효과적이며, 이는 대부분의 기존 이진 네트워크가 사전 학습된 float-가중치를 필요로 하는 것에 비해 핵심적인 이점이다.
• Mid-block 설계가 가장 높은 정확도를 기록한 이유는 스킵 커넥션 덕분에 원본 및 스케일링된 특징을 모두 유지할 수 있었기 때문이다.
• K-의존성은 특징 상관관계와 정확도를 크게 향상시키며, 시험된 구성 중 K=4가 가장 우수한 성능을 보였다.
• FLOPs를 0.52×10⁸로 줄여 기존 정밀도의 MobileNet 대비 12×의 속도 향상을 달성하여 강력한 효율성 향상을 입증하였다.