[논문 리뷰] DVOLVER: Efficient Pareto-Optimal Neural Network Architecture Search

Michel Guillaume, Mohammed Amine Alaoui외 3명|arXiv (Cornell University)|2019. 02. 05.

Advanced Neural Network Applications참고 문헌 17인용 수 11

한 줄 요약

DVOLVER는 모바일 디바이스에서 정확도와 FLOPS를 동시에 최적화하는 인구 기반의 진화 알고리즘을 제안한다. 최신 기술 수준의 트레이드오프를 달성하며, MobileNetV2보다 0.28% 높은 75.28%의 ImageNet Top-1 정확도를 기록하면서도 NASNet-A 모바일보다 8% 적은 FLOPS를 사용한다.

ABSTRACT

Automatic search of neural network architectures is a standing research topic. In addition to the fact that it presents a faster alternative to hand-designed architectures, it can improve their efficiency and for instance generate Convolutional Neural Networks (CNN) adapted for mobile devices. In this paper, we present a multi-objective neural architecture search method to find a family of CNN models with the best accuracy and computational resources tradeoffs, in a search space inspired by the state-of-the-art findings in neural search. Our work, called Dvolver, evolves a population of architectures and iteratively improves an approximation of the optimal Pareto front. Applying Dvolver on the model accuracy and on the number of floating points operations as objective functions, we are able to find, in only 2.5 days, a set of competitive mobile models on ImageNet. Amongst these models one architecture has the same Top-1 accuracy on ImageNet as NASNet-A mobile with 8% less floating point operations and another one has a Top-1 accuracy of 75.28% on ImageNet exceeding by 0.28% the best MobileNetV2 model for the same computational resources.

연구 동기 및 목표

• 정확도와 계산 효율성을 동시에 고려하여 모바일 디바이스용 효율적인 신경망 아키텍처를 설계하는 데 도전한다.
• 정확도를 우선시하면서 추론 속도 또는 FLOPS에 악영향을 미치는 단일 목표 NAS 방법의 한계를 극복한다.
• 크고 복잡한 검색 공간을 효율적으로 탐색하면서 성능을 훼손하지 않는 스케일러블한 다중 목표 검색 프레임워크를 개발한다.
• 이미지넷에서의 검증을 위해 프록시 데이터셋(CIFAR-10)을 사용하면서도 대규모 작업으로의 이식 가능성(transferability)을 유지한다.
• 이전 최신 기술 수준의 방법들보다 계산 비용을 줄이며, 전체 파레토 프론트 근사치를 더 빠르게 도달한다.

제안 방법

• NSGA-II 기반의 다중 목표 진화 알고리즘을 사용하여 세대를 거쳐 신경망 아키텍처의 인구 집단을 진화시킨다.
• NASNet을 영감으로 삼은 검색 공간을 사용하며, 재사용 가능한 셀 구조와 깊이, 너비, 활성화 함수에 대한 초모델 파라미터를 포함한다.
• 두 가지 목표를 최적화한다: CIFAR-10에서의 검증 정확도와 추론을 위한 총 FLOPS 수치.
• CIFAR-10에서의 훈련 중에 조기 정지(early stopping)를 적용하여, 초기 성능 순서가 최종 정확도와 상관관계가 있음을 가정함으로써 검색 속도를 향상시킨다.
• 정확도가 높고 FLOPS가 낮은 아키텍처를 포함한 다양한 인구 집단을 유지하여 파레토 프론트에의 수렴을 향상시킨다.
• 이론적 훈련을 피하기 위해 CIFAR-10에서의 서rogate 평가를 사용하여 검색 중에 ImageNet에서의 전체 훈련을 피함으로써 계산 비용을 절감하면서도 ImageNet으로의 이식 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 다중 목표 진화 알고리즘이 정확도와 FLOPS를 균형 있게 고려하는 신경망 아키텍처의 파레토 최적 프론트를 효율적으로 발견할 수 있는가?
• RQ2 프록시 데이터셋(CIFAR-10)을 사용한 초기 평가가 ImageNet으로의 이식 시 아키텍처 순위를 유지하는가?
• RQ3 기존의 모바일 아키텍처인 NASNet-A와 MobileNetV2보다 정확도-FLOPS 트레이드오프 측면에서 성능을 뛰어넘을 수 있는가?
• RQ4 단일 목표 NAS 방법(예: PNAS 또는 NASNet)과 비교했을 때, 인구 기반 접근 방식은 효율성과 성능 측면에서 어떻게 다른가?
• RQ5 인구 내 다양한 개체 간의 상호작용이 검색 효율성과 수렴 속도에 얼마나 기여하는가?

주요 결과

• DVOLVER는 ImageNet에서 Top-1 정확도 75.28%를 기록한 아키텍처를 발견하여, 동일한 FLOPS 수준에서 MobileNetV2의 최고 성능보다 0.28% 높은 성능을 달성했다.
• 어느 한 아키텍처는 NASNet-A 모바일과 동일한 Top-1 정확도를 기록했지만, FLOPS가 8% 적게 사용되어 더 높은 효율성을 입증했다.
• 전체 파레토 프론트 근사치를 50 GPU일 내에 달성하여, 더 큰 검색 공간($10^{20}$ 대비 $10^{12}$)에서 PNAS보다 3배 빠른 속도로 수행되었다.
• 진화적 인구 기반 접근 방식은 정확도를 희생시키지 않고도 검색 공간을 효율적으로 탐색할 수 있었으며, 특히 속도 최적화를 위해 설계된 경우에도 성능에 영향을 주지 않았다.
• 특히 계산 자원이 제한된 저성능 디바이스에서 NASNet과 MobileNetV2보다 정확도-FLOPS 트레이드오프 측면에서 뛰어난 성능을 보였다.
• CIFAR-10에서의 조기 정지는 성능 순위를 충분히 잘 유지하여 효과적인 검색을 가능하게 했지만, 일부 선택의 변동성 위험도 존재한다.