[논문 리뷰] Hierarchical Representations for Efficient Architecture Search

Hanxiao Liu, Karen Simonyan외 3명|arXiv (Cornell University)|2017. 11. 01.

Evolutionary Algorithms and Applications참고 문헌 23인용 수 227

한 줄 요약

논문은 계층적 아키텍처 표현을 도입하고 이러한 표현 위에서의 진화적 또는 무작위 탐색이 이미지 분류를 위한 경쟁력 있는 신경망 셀을 발견할 수 있음을 보여주며, CIFAR-10에서 top-1 오차 3.75%를, ImageNet에서 top-1 20.3%를 달성하고, 탐색 시간이 효율적이다.

ABSTRACT

We explore efficient neural architecture search methods and show that a simple yet powerful evolutionary algorithm can discover new architectures with excellent performance. Our approach combines a novel hierarchical genetic representation scheme that imitates the modularized design pattern commonly adopted by human experts, and an expressive search space that supports complex topologies. Our algorithm efficiently discovers architectures that outperform a large number of manually designed models for image classification, obtaining top-1 error of 3.6% on CIFAR-10 and 20.3% when transferred to ImageNet, which is competitive with the best existing neural architecture search approaches. We also present results using random search, achieving 0.3% less top-1 accuracy on CIFAR-10 and 0.1% less on ImageNet whilst reducing the search time from 36 hours down to 1 hour.

연구 동기 및 목표

• 효율적인 신경망 아키텍처 탐색(NAS)을 설계된 계층적이고 모듈식 표현으로 동기화하여 인간이 주도한 블록 설계와 유사하게 만들기.
• 강력한 계층적 공간과 결합했을 때 단순한 탐색 전략(무작위/진화적 탐색)이 경쟁력 있는 성능을 달성할 수 있음을 보이기.
• CIFAR-10에서 발견된 아키텍처의 성능과 ImageNet로의 확장성 및 이전 가능성을 보여주기.
• NAS 계산 시간을 줄이기 위한 효율적 분산 탐색 프레임워크를 제공하기.

제안 방법

• 평면(flat) 및 계층적 신경망 아키텍처 표현 정의.
• 하위 레벨 모티프가 상위 레벨 모티프의 빌딩 블록으로 작용하는 계층적 모티프 기반 인코딩 도입.
• 6개의 하단 수준 프리미티브(1x1 conv, 3x3 depthwise conv, 3x3 separable conv, 3x3 max-pool, 3x3 avg-pool, identity)와 none edge 옵션을 명시.
• 계층 전반의 모티프 간 에지 추가/수정/제거를 포함하는 변이 연산자를 사용한 진화적 탐색.
• 대기 없이(CON?) asynchronous distributed evolution with a controller performing tournament selection and workers evaluating architecture fitness by training from scratch for a fixed budget.
• Representation과 탐색 전략의 영향을 평가하기 위해 진화적 탐색과 무작위 탐색을 비교.

실험 결과

연구 질문

• RQ1 계층적 표현이 평면 표현에 비해 NAS의 효율성과 효과를 개선할 수 있는가?
• RQ2 무작위 탐색과 진화적 탐색이 계층적 공간에서 고성능 아키텍처를 찾는 데 어떤 성과를 내는가?
• RQ3 CIFAR-10에서 발견된 아키텍처의 성능과 ImageNet으로의 이전 가능성은 어떠한가?
• RQ4 제안된 비동기식 분산 NAS 프레임워크의 계산 효율성(시간, 자원)은 어느 정도인가?

주요 결과

검색 방법	CIFAR-10 error (%)	ImageNet Top-1 error (%)	ImageNet Top-5 error (%)
평면 표현-n, 무작위 아키텍처	4.56 ± 0.11	21.4	5.8
평면 표현-n, 무작위 탐색(200 샘플)	4.02 ± 0.11	20.8	5.7
평면 표현-n, 진화 (7000 샘플)	3.92 ± 0.06	20.6	5.6
평면 표현-n, 매개변수 제약, 진화 (7000 샘플)	4.17 ± 0.08	21.2	5.8
계층적 표현-n, 무작위 아키텍처	4.21 ± 0.11	21.5	5.8
계층적 표현-n, 무작위 탐색(200 샘플)	4.04 ± 0.20	20.4	5.3
계층적 표현-n, 무작위 탐색(7000 샘플)	3.91 ± 0.15	21.0	5.5
계층적 표현-n, 진화 (7000 샘플)	3.75 ± 0.12	20.3	5.2

• 계층적 표현은 동일한 성능에서 평면 표현보다 더 파라미터 효율적인 아키텍처를 가능하게 한다.
• 계층적 공간에서의 무작위 탐색은 경쟁력 있는 결과를 낳아, 잘 설계된 탐색 공간의 중요성을 확인시켜 준다.
• 계층적 표현에 대한 진화적 탐색이 최고 성능을 달성: CIFAR-10 3.75% ±0.12% (64 채널) 및 3.63% ±0.10% (128 채널); ImageNet top-1 20.3% 및 top-5 5.2%.
• 이전 NAS 연구와 비교해, 벽시계 시간(Wall-clock time)이 크게 적은 강력한 성능을 달성(예: 200개 아키텍처에 대한 무작위 탐색 1시간; 200 GPUs에서의 7000스텝 진화 1.5일).
• 진화된 계층적 셀은 건너뛰기 연결과 모듈식 모티프를 포함하여 학습된 아키텍처 패턴을 보여준다.
• 계층적 셀을 가진 진화 모델은 이미지넷에서 약 64M 파라미터로 Inception-ResNet-v2에 비견되며 NASNet-A보다 크다.