[논문 리뷰] Joint Neural Architecture Search and Quantization

Yukang Chen, Gaofeng Meng외 5명|arXiv (Cornell University)|2018. 11. 23.

Advanced Neural Network Applications참고 문헌 29인용 수 21

한 줄 요약

이 논문은 신경망 아키텍처와 계층별 양자화 정책을 동시에 최적화하기 위해 다목적 유전적 알고리즘을 사용하는 JASQ라는 공동 신경망 아키텍처 탐색 및 양자화 프레임워크를 제안한다. 이 방법은 상태기반 정확도 및 모델 크기의 상호 조정을 달성하여 부동소수점 모델과 2–16비트 양자화 모델을 모두 능가하며, JASQNet은 CIFAR-10에서 오직 0.9 MB의 모델 크기로 2.97%의 오차율을 기록한다.

ABSTRACT

Designing neural architectures is a fundamental step in deep learning applications. As a partner technique, model compression on neural networks has been widely investigated to gear the needs that the deep learning algorithms could be run with the limited computation resources on mobile devices. Currently, both the tasks of architecture design and model compression require expertise tricks and tedious trials. In this paper, we integrate these two tasks into one unified framework, which enables the joint architecture search with quantization (compression) policies for neural networks. This method is named JASQ. Here our goal is to automatically find a compact neural network model with high performance that is suitable for mobile devices. Technically, a multi-objective evolutionary search algorithm is introduced to search the models under the balance between model size and performance accuracy. In experiments, we find that our approach outperforms the methods that search only for architectures or only for quantization policies. 1) Specifically, given existing networks, our approach can provide them with learning-based quantization policies, and outperforms their 2 bits, 4 bits, 8 bits, and 16 bits counterparts. It can yield higher accuracies than the float models, for example, over 1.02% higher accuracy on MobileNet-v1. 2) What is more, under the balance between model size and performance accuracy, two models are obtained with joint search of architectures and quantization policies: a high-accuracy model and a small model, JASQNet and JASQNet-Small that achieves 2.97% error rate with 0.9 MB on CIFAR-10.

연구 동기 및 목표

• 효율적인 이동형 배포를 위한 신경망 아키텍처와 양자화 정책의 자동 공설계를 위해.
• 모델 압축 및 아키텍처 탐색에서 인간의 전문 지식과 수동 튜닝을 줄이기 위해.
• 분리된 아키텍처 탐색 또는 양자화 탐색보다 더 나은 정확도 및 모델 크기의 상호 조정을 달성하기 위해.
• 기존 네트워크에 대해 학습 가능한 계층별 양자화 정책을 제공하기 위해.

제안 방법

• 신경망 아키텍처와 양자화 정책의 공동 탐색 공간을 탐색하기 위해 다목적 유전적 알고리즘이 사용된다.
• 적합도 평가에서는 모델 정확도와 모델 크기를 고려하며, 파레토 최적 해면이 탐색을 이끈다.
• 조정 가능한 임계값 $\mathcal{T}_S$를 사용한 스칼라화 목적 함수를 조정하여 탄력적인 상호 조정을 지원한다.
• 개체 집단의 진화는 토너먼트 선택을 사용하며, 두 하이퍼파라미터인 집단 크기 $\#P$와 샘플 크기 $\#S$를 포함한다.
• 훈련 속도 향상을 위해 집단 내 개체 간에 파라미터 공유 전략이 적용된다.
• 저장소 오버헤드를 줄이기 위해 허프만 인코딩이 양자화된 가중치 표현에 사용된다.

실험 결과

연구 질문

• RQ1 신경망 아키텍처와 양자화 정책의 공동 탐색이 각각 별도로 최적화하는 것보다 우수한 성능을 낼 수 있는가?
• RQ2 계층별로 적응적인 양자화 정책은 일정 비트 폭의 양자화보다 정확도를 향상시킬 수 있는가?
• RQ3 제안된 방법이 정밀도가 높은 모델에 경쟁 가능한 정확도를 갖는 컴팩트한 모델을 생성할 수 있는가?
• RQ4 다양한 하드웨어 제약 조건 하에서 공동 탐색 프레임워크는 정확도와 모델 크기 사이의 균형을 어떻게 유지하는가?

주요 결과

• JASQNet은 오직 0.9 MB의 모델 크기로 CIFAR-10에서 2.97%의 오차율을 기록하며, SqueezeNet보다 정확도는 높고 훨씬 작다.
• JASQNet-Small는 ImageNet에서 65.90%의 top-1 정확도를 기록하여 유사한 모델 크기의 SqueezeNet(58.09%)를 능가한다.
• 양자화된 JASQNet 모델은 MobileNet-v1의 부동소수점 복제보다 1.02% 이상 높은 정확도를 기록한다.
• ResNet과 DenseNet과 같은 기존 네트워크의 경우, JASQ가 학습한 양자화 정책은 2-, 4-, 8-, 16비트 양자화 버전을 모두 능가한다.
• 공동 탐색은 1개의 GPU로 3일간 수행되며, 기존 모델의 양자화 정책은 몇 시간 내에 확보할 수 있다.
• 탐색 과정은 효율적이며, 하이퍼파라미터 분석 결과 최적 성능는 $\#P = 16$, $\#S = 16$에서 달성된다.