[논문 리뷰] Binarizing MobileNet via Evolution-based Searching

Hai Thanh Phan, Zechun Liu외 4명|arXiv (Cornell University)|2020. 05. 13.

Advanced Neural Network Applications참고 문헌 51인용 수 5

한 줄 요약

이 논문은 이질적인 그룹 컨벌루션 구조를 최적화하여 MobileNet을 이진화하기 위한 진화적 탐색 기반 방법을 제안한다. ImageNet에서 단일 GPU를 사용하여 검색한 결과, 1.54×10⁸ FLOPs로 60.09%의 Top-1 정확도를 달성하며, CI-BCNN과 같은 최신 기술들을 초월하는 정확도와 효율성을 확보한다.

ABSTRACT

Binary Neural Networks (BNNs), known to be one among the effectively compact network architectures, have achieved great outcomes in the visual tasks. Designing efficient binary architectures is not trivial due to the binary nature of the network. In this paper, we propose a use of evolutionary search to facilitate the construction and training scheme when binarizing MobileNet, a compact network with separable depth-wise convolution. Inspired by one-shot architecture search frameworks, we manipulate the idea of group convolution to design efficient 1-Bit Convolutional Neural Networks (CNNs), assuming an approximately optimal trade-off between computational cost and model accuracy. Our objective is to come up with a tiny yet efficient binary neural architecture by exploring the best candidates of the group convolution while optimizing the model performance in terms of complexity and latency. The approach is threefold. First, we train strong baseline binary networks with a wide range of random group combinations at each convolutional layer. This set-up gives the binary neural networks a capability of preserving essential information through layers. Second, to find a good set of hyperparameters for group convolutions we make use of the evolutionary search which leverages the exploration of efficient 1-bit models. Lastly, these binary models are trained from scratch in a usual manner to achieve the final binary model. Various experiments on ImageNet are conducted to show that following our construction guideline, the final model achieves 60.09% Top-1 accuracy and outperforms the state-of-the-art CI-BCNN with the same computational cost.

연구 동기 및 목표

• 이동식 장치에 적합한 효율적이고 정확한 이진 신경망(BNN)을 설계하는 데 도전하며, 특히 MobileNet과 같은 경량 아키텍처를 이진화할 때의 과제를 해결하고자 한다.
• 깊이 분할형 및 전체 이진 컨벌루션의 한계—제한된 표현 범위와 높은 계산 비용—을 극복하기 위해 그룹 컨벌루션을 균형 잡힌 대안으로 탐색하고자 한다.
• 정확도를 극대화하고 계산 비용을 최소화하기 위해 각 레이어에서 최적의 이질적 그룹 구성 구성을 탐색하는 전략을 개발하고자 한다.
• 진화적 탐색이 BNN의 복잡한 그룹 컨벌루션 구성 탐색 공간을 효과적으로 탐색할 수 있음을 입증하여, 열등한 아키텍처를 초월하는 우수한 아키텍처를 도출할 수 있음을 보여주고자 한다.

제안 방법

• 각 컨벌루션 레이어에서 다양한 무작위 그룹 조합을 사용해 강력한 기초 이진 네트워크를 훈련시켜 레이어 간 특징 정보를 유지한다.
• 정확도, FLOPs, 추론 지연을 최적화하기 위해 그룹 컨벌루션 구성 공간을 탐색하기 위해 진화적 탐색 알고리즘을 사용한다.
• 단일 슈퍼넷을 훈련시켜 여러 후보 아키텍처를 효율적으로 평가할 수 있는 one-shot 아키텍처 탐색 기반 원칙에 따라 탐색을 유도한다.
• 진화적 탐색에 의해 식별된 최고 성능 그룹 구성에 기반해 최종 이진 모델을 다시 훈련시킨다.
• 검색 비용을 줄이고 수렴성을 향상시키기 위해 가중치 공유 및 미분 가능 탐색 원칙을 활용한다.
• 그룹 수를 각 레이어에 따라 동적으로 할당하여 표현 능력과 효율성을 균형 있게 유지하면서 MobileNet의 13층 아키텍처에 적용한다.

실험 결과

연구 질문

• RQ1 진화적 탐색은 이진화된 MobileNet에서 최적의 그룹 컨벌루션 구성 구성을 효과적으로 식별할 수 있는가? 이는 정확도와 효율성을 향상시키는가?
• RQ2 동일한 성능과 계산 비용 기준에서, 레이어 간 이질적인 그룹 구조는 동일하거나 고정된 그룹 구성보다 성능과 비용 측면에서 어떻게 비교되는가?
• RQ3 제안된 방법은 동일한 계산 예산 하에서 CI-BCNN 및 BiReal-Net과 같은 최신 기술보다 Top-1 정확도와 FLOPs 측면에서 모두 뛰어나게 성능을 발휘할 수 있는가?
• RQ4 그룹 구성은 이진 네트워크 훈련의 안정성과 수렴성에 어떤 영향을 미치는가?
• RQ5 깊이 분할형과 전체 컨벌루션 사이의 중간 지점으로서의 그룹 컨벌루션은 1비트 네트워크에서 특징 표현을 향상시키는 데 기여하는가?

주요 결과

• 제안된 방법은 1.54×10⁸ FLOPs의 동일한 FLOP 예산 하에서 ImageNet에서 60.09%의 Top-1 정확도를 달성하며, 동일한 조건에서 최신 기술인 CI-BCNN을 1% 이상 초월한다.
• FLOPs를 33%만 사용함(0.33×10⁸ 대비 1.63×10⁸)으로 BiReal-Net-18보다 4.5% 높은 Top-1 정확도를 확보하여 뛰어난 효율성을 입증한다.
• 제안된 아키텍처의 모듈 2와 모듈 3는 FLOPs를 훨씬 적게 사용하면서도 BiReal-Net과 CI-BCNN보다 더 높은 Top-1 정확도를 달성한다.
• 진화적 탐색은 난수 기반의 단순한 그룹 구성보다 더 안정적이고 정확한 결과를 도출하며, 이질적인 그룹 구조의 이점이 입증된다.
• 제거 분석 결과, 탐색 알고리즘이 초기 레이어에는 더 적은 그룹 수를 할당하여 입력 정보를 유지하고, 후속 레이어에서는 그룹 수를 늘려 압축성을 향상시키는 경향을 보임을 확인했다.
• 전체 검색 과정에서 단일 GPU만을 사용하여도 높은 성능을 달성함으로써, 낮은 검색 비용과 실용적 타당성을 입증했다.