[논문 리뷰] Binarized Neural Architecture Search for Efficient Object Recognition

Hanlin Chen, Li’an Zhuo외 6명|arXiv (Cornell University)|2020. 09. 08.

Advanced Neural Network Applications참고 문헌 73인용 수 4

한 줄 요약

이 논문은 엣지 디바이스에서 효율적인 객체 인식을 가능하게 하기 위해 이진화된 합성곱 신경망 아키텍처를 탐색하는 Binarized Neural Architecture Search (BNAS)를 제안한다. 운영 공간 축소, 채널 샘플링, 성능 기반의 프루닝 전략을 Upper Confidence Bound (UCB) 최적화와 융합함으로써 BNAS는 전체 정밀도 NAS 방법과 유사한 정확도를 달성한다—CIFAR-10에서 96.53%, ImageNet 및 얼굴 인식에서 우수한 성능을 보이며, PC-DARTS에 비해 모델 크기와 검색 시간을 최대 40% 감소시킨다.

ABSTRACT

Traditional neural architecture search (NAS) has a significant impact in computer vision by automatically designing network architectures for various tasks. In this paper, binarized neural architecture search (BNAS), with a search space of binarized convolutions, is introduced to produce extremely compressed models to reduce huge computational cost on embedded devices for edge computing. The BNAS calculation is more challenging than NAS due to the learning inefficiency caused by optimization requirements and the huge architecture space, and the performance loss when handling the wild data in various computing applications. To address these issues, we introduce operation space reduction and channel sampling into BNAS to significantly reduce the cost of searching. This is accomplished through a performance-based strategy that is robust to wild data, which is further used to abandon less potential operations. Furthermore, we introduce the Upper Confidence Bound (UCB) to solve 1-bit BNAS. Two optimization methods for binarized neural networks are used to validate the effectiveness of our BNAS. Extensive experiments demonstrate that the proposed BNAS achieves a comparable performance to NAS on both CIFAR and ImageNet databases. An accuracy of $96.53\%$ vs. $97.22\%$ is achieved on the CIFAR-10 dataset, but with a significantly compressed model, and a $40\%$ faster search than the state-of-the-art PC-DARTS. On the wild face recognition task, our binarized models achieve a performance similar to their corresponding full-precision models.

연구 동기 및 목표

• 엣지 디바이스에서 신경망의 높은 계산 비용과 큰 모델 크기 문제를 해결하기 위해.
• 더 효율적이지만 성능 저하 문제가 발생하는 이진화 네트워크에 특화된 신경 아키텍처 탐색 방법을 개발하기 위해.
• 특히 1비트 네트워크를 위한 이진화 아키텍처 탐색에서 검색 비용을 줄이고 효율성을 향상시키기 위해.
• 실세계 얼굴 인식과 같은 야생 데이터에서 높은 성능을 유지를 하며 정확도 저하를 최소화하기 위해.
• 이진화 아키텍처가 전체 정밀도 NAS 성능을 뛰어나게 압축된 형태로 도달할 수 있음을 입증하기 위해.

제안 방법

• 이식 가능한 엣지 디바이스를 위한 매우 압축된 모델을 생성하기 위해 이진화된 컨벌루션으로 구성된 검색 공간을 포함하는 BNAS를 도입한다.
• 운영 공간 축소와 채널 샘플링을 적용하여 초기 단계에서 검색 공간을 줄여 계산 비용을 감소시킨다.
• 검색 중에 잠재력이 낮은 연산을 동적으로 제거하는 성능 기반 전략을 활용하여 효율성과 야생 데이터에 대한 강건성을 향상시킨다.
• 1비트 BNAS의 최적화를 위해 Upper Confidence Bound (UCB) 밴딧 알고리즘을 사용하여 아키텍처 탐색에서 탐색과 이용의 균형을 맞춘다.
• 동일한 NAS 프레임워크 내에서 이진화 최적화를 재구성하여 엔드 투 엔드 학습과 탐색을 가능하게 한다.
• PCNN과 XNOR-Net이라는 두 가지 이진화 네트워크 최적화 기법을 사용하여 방법을 검증함으로써 다양한 기법에 대한 일반화 능력을 입증한다.

실험 결과

연구 질문

• RQ1 신경 아키텍처 탐색이 이진화 네트워크에 효과적으로 적용되어 높은 효율성과 성능을 달성할 수 있는가?
• RQ2 정확도를 희생시키지 않고 이진화 NAS에서 검색 공간을 효율적으로 줄일 수 있는가?
• RQ3 성능 기반의 프루닝 전략이 이진화 모델의 야생 데이터에 대한 강건성을 향상시킬 수 있는가?
• RQ4 UCB 밴딧 전략은 랜덤 또는 탐욕적 탐색에 비해 1비트 BNAS 성능을 어떻게 향상시키는가?
• RQ5 이진화 아키텍처가 실세계 작업, 예를 들어 얼굴 인식과 같은 과제에서 전체 정밀도 NAS 성능을 어느 정도까지 따라잡을 수 있는가?

주요 결과

• BNAS는 CIFAR-10에서 전체 정밀도 NAS의 97.22%에 비해 96.53%의 상위-1 정확도를 달성하며, 상당히 압축된 모델을 제공한다.
• BNAS의 검색 시간은 0.09375 GPU 일로, 최신 기술 수준의 PC-DARTS 방법보다 40% 더 빠르다.
• ImageNet 데이터셋에서 BNAS는 전체 정밀도 NAS 모델과 유사한 성능을 보이는 이진화 아키텍처를 발견했으며, 모델 크기가 훨씬 작다.
• 얼굴 인식 작업에서는 1비트 BNAS가 LFW에서 98.57%의 정확도를 기록했으며, 전체 정밀도 ResNet-18보다 1.06% 낮게, 그러나 단지 10.224M 파라미터만을 사용한다.
• 1비트 BNAS는 기존에 인간이 설계한 1비트 네트워크보다 정확도에서 5.0% 높은 성능을 보이며, 파라미터 수도 적다.
• 이 방법은 다양한 데이터셋—CIFAR-10, ImageNet, 야생 얼굴 인식 벤치마크—에서 높은 성능을 유지하는 강력한 전이 능력을 보였다.