[논문 리뷰] EPNAS: Efficient Progressive Neural Architecture Search

Yanqi Zhou, Peng Wang외 5명|arXiv (Cornell University)|2019. 07. 07.

Advanced Neural Network Applications인용 수 2

한 줄 요약

EPNAS는 점진적 탐색 정책과 REINFORCE 기반 성능 예측을 통해 신경망 아키텍처 탐색(NAS)을 가속화하는 새로운 네트워크 아키텍처 탐색 프레임워크입니다. 이는 큰 탐색 공간에서 효율적이고 확장 가능한 아키텍처 탐색을 가능하게 하며, CIFAR10과 ImageNet에서 최신 기술 수준(SoTA)의 정확도를 달성하면서도 탐색 시간을 크게 단축시킵니다. 특히 모델 크기와 계산 복잡도 등의 다중 자원 제약 조건 하에서도 뛰어난 성능을 발휘합니다.

ABSTRACT

In this paper, we propose Efficient Progressive Neural Architecture Search (EPNAS), a neural architecture search (NAS) that efficiently handles large search space through a novel progressive search policy with performance prediction based on REINFORCE~\cite{this http URL}. EPNAS is designed to search target networks in parallel, which is more scalable on parallel systems such as GPU/TPU clusters. More importantly, EPNAS can be generalized to architecture search with multiple resource constraints, \eg, model size, compute complexity or intensity, which is crucial for deployment in widespread platforms such as mobile and cloud. We compare EPNAS against other state-of-the-art (SoTA) network architectures (\eg, MobileNetV2~\cite{mobilenetv2}) and efficient NAS algorithms (\eg, ENAS~\cite{pham2018efficient}, and PNAS~\cite{Liu2017b}) on image recognition tasks using CIFAR10 and ImageNet. On both datasets, EPNAS is superior \wrt architecture searching speed and recognition accuracy.

연구 동기 및 목표

• 기존 NAS 방법이 신경망 아키텍처 탐색을 위한 큰 탐색 공간을 탐색하는 데에 효율성이 떨어지는 문제를 해결하기 위해.
• GPU/TPU 클러스터에서 병렬적으로 확장 가능한 아키텍처 탐색을 가능하게 하기 위해 점진적 탐색 정책을 도입하기 위해.
• 이동기기 및 클라우드 플랫폼에 배포하기 위해 모델 크기, FLOPs, 추론 지연 시간 등의 다중 자원 제약 조건 최적화를 지원하기 위해.
• 정확도를 희생시키지 않은 채 탐색 효율성을 향상시켜 기존의 SoTA NAS 방법을 능가하기 위해.

제안 방법

• EPNAS는 탐색 공간을 단계적으로 확장하는 점진적 탐색 정책을 사용하여 각 단계에서 계산 부담을 줄입니다.
• 후보 아키텍처의 정확도를 완전한 학습 없이도 예측하기 위해 REINFORCE 기반의 성능 예측을 사용합니다.
• GPU/TPU 클러스터에서 다수의 아키텍처를 병렬로 학습시킬 수 있도록 하여 확장성을 향상시킵니다.
• 크기와 복잡도 지표를 탐색 목표에 통합함으로써 다양한 자원 제약 조건에 일반화할 수 있도록 설계되었습니다.
• 예측된 성능에 따라 탐색 공간을 동적으로 조정하여 잠재력이 높은 아키텍처에 집중합니다.

실험 결과

연구 질문

• RQ1 점진적 탐색 정책은 큰 탐색 공간에서 신경망 아키텍처 탐색의 시간과 자원 소비를 줄일 수 있는가?
• RQ2 완전한 학습 없이도 REINFORCE 기반의 성능 예측이 아키텍처 탐색을 얼마나 효과적으로 이끌 수 있는가?
• RQ3 GPU/TPU 클러스터와 같은 병렬 하드웨어 아키텍처에서 EPNAS는 어느 정도 확장 가능한가?
• RQ4 기존의 NAS 방법과 비교해 볼 때, EPNAS는 모델 크기와 FLOPs 등의 다중 자원 제약 조건 하에서 어떻게 성능을 발휘하는가?

주요 결과

• EPNAS는 기존의 NAS 방법과 비교해 탐색 시간을 크게 단축시키면서도 CIFAR10과 ImageNet에서 최신 기술 수준의 정확도를 달성합니다.
• 점진적 탐색 정책 덕분에 탐색 과정의 초반에 잠재력이 높은 아키텍처에 집중함으로써 빠른 수렴을 이룹니다.
• 병렬 처리가 가능한 아키텍처 탐색 설계 덕분에 GPU/TPU 클러스터에서 뛰어난 확장성을 입증했습니다.
• 다양한 자원 제약 조건을 효과적으로 처리함으로써 이동기기 및 클라우드 플랫폼에 배포하기에 적합한 아키텍처 탐색 방법임을 입증했습니다.