[논문 리뷰] CARS: Continuous Evolution for Efficient Neural Architecture Search

Zhaohui Yang, Yunhe Wang외 6명|arXiv (Cornell University)|2019. 09. 11.

Advanced Neural Network Applications참고 문헌 63인용 수 26

한 줄 요약

CARS는 모델 크기와 정확도 측면에서 다양성을 갖춘 아키텍처의 연속적인 진화를 가능하게 하는 연속적 진화 신경망 아키텍처 탐색 프레임워크를 제안한다. 파라미터 공유 슈퍼넷과 비지배 정렬(pNSGA-III)을 활용함으로써, 세대 간에 슈퍼넷과 개체군을 재사용함으로써, 단지 0.4 GPU 일의 연산량으로 ImageNet에서 최신 기술 수준(SOTA) 성능을 달성한다. 370만에서 510만 파라미터 사이의 모델을 생성하여, 정확도와 효율성 면에서 기존 SOTA 방법을 초월한다.

ABSTRACT

Searching techniques in most of existing neural architecture search (NAS) algorithms are mainly dominated by differentiable methods for the efficiency reason. In contrast, we develop an efficient continuous evolutionary approach for searching neural networks. Architectures in the population that share parameters within one SuperNet in the latest generation will be tuned over the training dataset with a few epochs. The searching in the next evolution generation will directly inherit both the SuperNet and the population, which accelerates the optimal network generation. The non-dominated sorting strategy is further applied to preserve only results on the Pareto front for accurately updating the SuperNet. Several neural networks with different model sizes and performances will be produced after the continuous search with only 0.4 GPU days. As a result, our framework provides a series of networks with the number of parameters ranging from 3.7M to 5.1M under mobile settings. These networks surpass those produced by the state-of-the-art methods on the benchmark ImageNet dataset.

연구 동기 및 목표

• 각 아키텍처의 독립적 훈련이 필요로 하는 고비용의 진화적 NAS 방법의 문제를 해결하기 위해.
• 강화학습과 미분 가능한 NAS의 비효율성을 극복하기 위해 진화적 탐색과 파라미터 공유를 융합하기 위해.
• 다양한 모델 크기와 지연 시간 제약 조건을 고려한 고성능 아키텍처의 다양성을 생성하기 위해.
• 이전 세대의 지식을 재사용하여 수렴 속도를 가속화하는 연속적 진화 전략을 개발하기 위해.
• 지연 시간을 다목적 최적화 기준으로 통합하여 기기 인식 NAS를 가능하게 하기 위해.

제안 방법

• 모든 후보 아키텍처 간에 파라미터를 공유하는 다수의 셀과 블록을 포함하는 슈퍼넷을 초기화한다.
• 교차 및 변이와 같은 진화적 연산을 적용하여 현재 개체군에서 새로운 아키텍처를 생성한다.
• 비지배 정렬(pNSGA-III)을 통해 정확도와 모델 크기 측면에서 고품질 아키텍처를 선별하며, 파레토 최적 해의 다양성을 유지한다.
• 선택된 파레토 최적 아키텍처들만을 이용해 슈퍼넷을 업데이트함으로써 세대 간 지식 유지를 보장한다.
• 진화 과정에서 하위 최적의 작은 아키텍처에 갇히는 것을 방지하기 위한 보호 메커니즘이 도입된다.
• 검색 과정은 연속적이다: 슈퍼넷과 개체군이 반복적으로 이식되며, 재훈련을 최소화하고 효율성을 극대화한다.

실험 결과

연구 질문

• RQ1 기존 방법과 비교해 검색 비용을 줄이면서도 아키텍처 품질을 유지하거나 향상시킬 수 있는가?
• RQ2 슈퍼넷을 통한 파라미터 공유가 다양성이나 성능을 희생시키지 않고 진화적 NAS의 속도를 높이는 데 얼마나 효과적인가?
• RQ3 비지배 정렬(pNSGA-III)을 통한 다목적 최적화가 모델 크기와 정확도 측면에서 다양성 있는 파레토 최적 해를 생성할 수 있는가?
• RQ4 검색 과정에서 기기 인식 지연 시간을 고려할 경우 최종 모델 성능과 배포 효율성에 어떤 영향을 미치는가?
• RQ5 제안된 방법이 이동 기기 제약 조건 하에서 ImageNet에 대해 일반화 능력이 뛰어난 이식 가능한 아키텍처를 생성할 수 있는가?

주요 결과

• CARS는 단지 370만 파라미터로 ImageNet에서 최신 기술 수준의 Top-1 정확도 75.2%를 달성하여, 유사 조건에서 PNAS와 DARTS를 능가한다.
• 370만에서 510만 파라미터 사이, FLOPs는 430에서 590 MFLOPs 사이의 다양한 모델을 생성하였으며, 모두 0.4 GPU 일 이내에 완료되었다.
• CARS-I는 510만 파라미터와 591 MFLOPs를 사용하여 Top-1 정확도 75.2%를 달성했으며, 동일한 파라미터 수에서 PNAS를 1% 초월한다.
• CARS-G는 470만 파라미터로 Top-1 정확도 74.2%를 기록했으며, 동일한 파라미터 수에서 DARTS를 0.9% 초월한다.
• HUAWEI P30 Pro에서 CARS 모델의 지연 시간은 82.9ms에서 100.6ms 사이이며, 유사 지연 시간에서 NASNet 및 AmoebaNet 변종보다 높은 정확도를 확보했다.
• 슈퍼넷 재사용을 통한 연속적 진화 전략으로 검색 비용을 0.4 GPU 일로 낮췄으며, 이는 AmoebaNet의 3150 GPU 일보다 크게 감소한 것이다.