[논문 리뷰] Neural Architecture Search with Reinforcement Learning

Barret Zoph, Quoc V. Le|arXiv (Cornell University)|2016. 11. 05.

Machine Learning and Data Classification참고 문헌 45인용 수 3,860

한 줄 요약

논문은 정책 기울기(REINFORCE)로 학습된 순환 컨트롤러를 사용하여 CNN 및 RNN 아키텍처를 생성하는 Neural Architecture Search (NAS)를 소개한다; NAS는 CIFAR-10과 Penn Treebank에서 from scratch로 경쟁력 있는 모델을 찾는다.

ABSTRACT

Neural networks are powerful and flexible models that work well for many difficult learning tasks in image, speech and natural language understanding. Despite their success, neural networks are still hard to design. In this paper, we use a recurrent network to generate the model descriptions of neural networks and train this RNN with reinforcement learning to maximize the expected accuracy of the generated architectures on a validation set. On the CIFAR-10 dataset, our method, starting from scratch, can design a novel network architecture that rivals the best human-invented architecture in terms of test set accuracy. Our CIFAR-10 model achieves a test error rate of 3.65, which is 0.09 percent better and 1.05x faster than the previous state-of-the-art model that used a similar architectural scheme. On the Penn Treebank dataset, our model can compose a novel recurrent cell that outperforms the widely-used LSTM cell, and other state-of-the-art baselines. Our cell achieves a test set perplexity of 62.4 on the Penn Treebank, which is 3.6 perplexity better than the previous state-of-the-art model. The cell can also be transferred to the character language modeling task on PTB and achieves a state-of-the-art perplexity of 1.214.

연구 동기 및 목표

• 자동화된 아키텍처 설계를 통해 신경망 설계에서 인간 전문가의 노력과 시간을 줄일 것을 동기 부여한다.
• 컨트롤러 RNN을 제안하여 아키텍처 하이퍼파라미터를 토큰 시퀀스로 방출한다.
• 강화학습으로 검증 정확도를 보상으로 사용하여 아키텍처를 최적화한다.
• NAS가 scratch에서 경쟁력 있는 합성곱 및 순환 아키텍처를 생성할 수 있음을 보여준다.

제안 방법

• 컨트롤러 RNN을 사용하여 아키텍처 설명을 토큰 시퀀스로 생성한다.
• 생성된 아키텍처에 해당하는 자식 네트워크를 훈련하고 그 검증 정확도를 보상으로 사용한다.
• 기준선을 가진 REINFORCE를 적용하여 컨트롤러가 기대 보상을 최대화하도록 학습한다.
• 입력에 대한 주의 기반 샘플링을 통해 스킵 연결과 다른 계층 타입으로 탐색 공간을 확장한다.
• 컨트롤러가 이끄는 계산 트리를 구성하여 순환 셀 생성을 확장한다.

실험 결과

연구 질문

• RQ1 컨트롤러 RNN이 인간이 설계한 템플릿 없이 scratch에서 경쟁력 있는 합성곱 및 순환 아키텍처를 생성할 수 있는가?
• RQ2 강화 학습이 검증 성능을 기반으로 아키텍처 생성을 효과적으로 최적화하는가?
• RQ3 스킵 연결 및 다양한 계층 타입이 NAS 성능에 어떤 영향을 미치는가?
• RQ4 NAS가 생성한 순환 셀이 언어 모델링 작업에서 표준 LSTM을 능가할 수 있는가?

주요 결과

• CIFAR-10에서 NAS는 3.65% 테스트 오류를 달성하는 아키텍처를 발견하여 강력한 인간이 설계한 모델에 필적하고 유사한 이전 모델보다 빠르다.
• Penn Treebank에서 NAS는 perplexity 62.4의 새로운 순환 셀을 발견하여 이전 RNN/LSTM 기준선을 능가한다.
• NAS로 생성된 아키텍처는 잘 전달되며, NAS-유래 셀이 PTB 문자 모델링에서 1.214의 perplexity를 달성하는 전이 실험에서 성능이 확인된다.
• 더 크고 표현력이 풍부한 NAS 탐색(Stride 및 풀링 포함)은 추가 성능 향상을 가져와 최첨단에 근접한 결과를 보인다.
• NAS 접근법은 단일 학습 프레임워크를 사용하여 이미지 및 언어 모델링 벤치마크 모두에서 경쟁력 있는 결과를 보여준다.