[논문 리뷰] Progressive Neural Architecture Search

Chenxi Liu, Barret Zoph외 8명|arXiv (Cornell University)|2017. 12. 02.

Advanced Neural Network Applications참고 문헌 41인용 수 166

한 줄 요약

PNAS는 CNN 셀 구조에 대한 점진적이고 대리모델 가이드 검색을 도입하여, 기존 RL 기반 NAS 방법들보다 최대 8배 더 빠른 계산으로 최첨단 정확도를 달성합니다.

ABSTRACT

We propose a new method for learning the structure of convolutional neural networks (CNNs) that is more efficient than recent state-of-the-art methods based on reinforcement learning and evolutionary algorithms. Our approach uses a sequential model-based optimization (SMBO) strategy, in which we search for structures in order of increasing complexity, while simultaneously learning a surrogate model to guide the search through structure space. Direct comparison under the same search space shows that our method is up to 5 times more efficient than the RL method of Zoph et al. (2018) in terms of number of models evaluated, and 8 times faster in terms of total compute. The structures we discover in this way achieve state of the art classification accuracies on CIFAR-10 and ImageNet.

연구 동기 및 목표

• RL 및 EA 접근법과 비교하여 CNN용 NAS의 동기를 제시하고 계산 비용을 줄이는 것.
• 확장을 가이드하기 위해 대리 예측기를 결합한 CNN 셀의 점진적이고 블록 단위의 검색을 제안한다.
• 발견된 아키텍처가 더 낮은 계산량으로 CIFAR-10 및 ImageNet에서 최첨단 정확도에 도달함을 보여준다.
• 단일 셀 유형을 공유하고 점진적으로 복잡성을 증가시키는 것이 탐색 효율성과 전이 가능성을 향상시킴을 보여준다.

제안 방법

• 각 셀당 B개의 블록과 고정된 블록 연산 및 입력 세트를 갖는 계층적 셀 기반 탐색 공간을 정의한다.
• 간단한(1-블록) 셀에서 더 깊은(B-블록) 셀로 후보를 확장하고 대리 모델로 성능을 예측하여 점진적으로 탐색을 수행한다.
• 후보 셀로 구성된 프록시 CNN들의 집단을 학습시켜 검증 정확도를 지도 신호로 얻는다.
• 확장된 셀을 순위를 매기기 위해 MLP 또는 RNN인 앙상블 대리 예측기를 훈련하고, 다음 세대를 위한 상위-K를 선택하며 새로운 관찰 데이터로 예측기를 업데이트한다.
• 최고의 셀 유형을 지정된 반복수와 스트라이드 패턴으로 쌓아 최종 CNN을 구성한 뒤 대상 데이터세트(CIFAR-10 및 ImageNet)에서 학습한다.
• NAS(RL 기반) 및 무작위 검색과의 효율성을 비교하고 모델 수, 총 계산량, 최고 검증 정확도를 보고한다.

실험 결과

연구 질문

• RQ1 점진적이고 대리 가이드가 있는 탐색이 정확도를 유지하거나 향상시키면서 NAS에서 평가된 모델 수를 줄일 수 있는가?
• RQ2 셀 기반의 점진적으로 복잡한 탐색 공간을 사용하면 ImageNet과 같은 더 큰 데이터셋에서 효율성과 전달 가능성을 향상시킬 수 있는가?
• RQ3 대리 예측기(MLP 대 RNN 앙상블)가 유망한 아키텍처의 순위를 얼마나 잘 매기고 더 크고 보지 못한 셀에 일반화되는가?
• RQ4 CIFAR-10 및 ImageNet에서 PNAS의 실용적 속도 향상과 정확도 간의 트레이드오프는 NAS, 무작위 검색 및 계층적 EA와 비교해 어떤가?

주요 결과

모델	B	N	F	오류	매개변수	M1	E1	M2	E2	비용
NASNet-A [41]	5	6	32	3.41	3.3M	20000	0.9M	250	13.5M	21.4-29.3B
NASNet-B [41]	5	4	N/A	3.73	2.6M	20000	0.9M	250	13.5M	21.4-29.3B
NASNet-C [41]	5	4	N/A	3.59	3.1M	20000	0.9M	250	13.5M	21.4-29.3B
Hier-EA [21]	5	2	64	3.75 ± 0.12	15.7M	7000	5.12M	0	0	35.8B
AmoebaNet-B [27]	5	6	36	3.37 ±0.04	2.8M	27000	2.25M	100	27M	63.5B
AmoebaNet-A [27]	5	6	36	3.34 ±0.06	3.2M	20000	1.13M	100	27M	25.2B
AmoebaNet-C [27]	5	6	36	3.35 ±0.05	3.2M	20000	1.13M	100	27M	25.2B
PNASNet-5 [PNAS]	5	3	48	3.41 ±0.09	3.2M	1160	0.9M	0	0	1.0B

• PNAS는 평가된 모델 수 측면에서 Zoph et al.(2018)의 RL NAS 방법보다 최대 5배 더 효율적이다.
• 같은 탐색 공간에서 RL NAS 방법에 비해 총 계산량이 최대 8배 빠르다.
• PNAS로 발견된 아키텍처는 CIFAR-10 및 ImageNet에서 최첨단 또는 경쟁력 있는 분류 정확도를 달성한다.
• 대리 가이드를 갖춘 점진적 탐색은 전체 CNN 직접 탐색보다 더 크고 복잡한 셀을 탐색하게 한다.
• ML 기반 대리 앙상블(특히 MLP-앙상블)은 보지 못한 더 큰 블록 수에 대해 후보 셀의 순위를 효과적으로 매겨 탐색 효율을 향상시킨다.
• PNASNet-5는 ImageNet에서 Mobile 및 Large 설정의 여러 NAS 변형보다 성능이 뛰어나고 AmoebaNet 구현보다 훨씬 적은 계산량을 사용한다.