[논문 리뷰] Designing Neural Network Architectures using Reinforcement Learning

Bowen Baker, Otkrist Gupta외 2명|arXiv (Cornell University)|2016. 11. 07.

Adversarial Robustness in Machine Learning인용 수 424

한 줄 요약

이 논문은 MetaQNN를 소개합니다. 이는 표준 계층 타입으로부터 CNN 아키텍처를 자동 설계하는 Q-learning 기반 메타-모델링 접근법으로, 인간 설계 없이도 이미지 분류 벤치마크에서 경쟁력 있거나 우수한 성능을 달성합니다. 또한 전달 가능한 상위 모델 및 앙상블을 이용한 자동 아키텍처 탐색을 시연합니다.

ABSTRACT

At present, designing convolutional neural network (CNN) architectures requires both human expertise and labor. New architectures are handcrafted by careful experimentation or modified from a handful of existing networks. We introduce MetaQNN, a meta-modeling algorithm based on reinforcement learning to automatically generate high-performing CNN architectures for a given learning task. The learning agent is trained to sequentially choose CNN layers using $Q$-learning with an $ε$-greedy exploration strategy and experience replay. The agent explores a large but finite space of possible architectures and iteratively discovers designs with improved performance on the learning task. On image classification benchmarks, the agent-designed networks (consisting of only standard convolution, pooling, and fully-connected layers) beat existing networks designed with the same layer types and are competitive against the state-of-the-art methods that use more complex layer types. We also outperform existing meta-modeling approaches for network design on image classification tasks.

연구 동기 및 목표

• 자동 CNN 아키텍처 설계를 통해 인간 전문 지식 및 수동 시도-오류에 대한 의존성 감소
• 강화 학습을 사용한 CNN 토폴로지의 큰 이산 공간 탐색
• MetaQNN가 발견한 아키텍처가 같은 계층 타입을 사용한 수작업 네트워크보다 성능을 능가할 수 있음을 시연
• 더 복잡한 계층 타입을 사용하는 최신 방법과 경쟁력 있는 성능 달성
• 여러 MetaQNN 설계의 전달 학습 가능성 및 앙상블 이점 평가

제안 방법

• CNN 계층 선택을 계 Markov Decision Process(MDP)로 모델링하되 상태는 계층 매개변수를 인코딩하고 액션은 계층을 추가합니다
• 탐색 전략으로 엡실론-그리디 탐색과 경험 재생을 사용하여 아키텍처 구성을 위한 정책을 학습합니다
• 학습 가능성을 보장하기 위해 계층 매개변수의 이산화 및 DAG-구조의 전이로 상태-액션 공간을 제한합니다
• 탐색 중 고정된 공격적 학습 스킴으로 토폴로지를 빠르게 학습시키고 후보를 재학습하여 미세 조정합니다
• 표준 CNN 구성요소(conv, pool, FC)를 사용하여 CIFAR-10, SVHN, MNIST에서 아키텍처를 평가합니다
• 발견된 모델의 앙상즐을 포함하여 수작업으로 설계된 네트워크 및 이전 메타-모델링 접근법과 비교합니다

실험 결과

연구 질문

• RQ1 강화 학습 에이전트가 표준 계층 타입만으로도 수작업으로 설계된 네트워크보다 성능이 우수한 CNN 아키텍처를 안정적으로 발견할 수 있는가?
• RQ2 MetaQNN-발견 아키텍처가 데이터셋 간 전달되며 앙상블의 이점을 얻는가?
• RQ3 탐색-활용 균형이 발견된 아키텍처의 품질과 다양성에 어떻게 영향을 미치는가?
• RQ4 MetaQNN 설계가 더 복잡한 계층 타입을 사용하는 최신 방법과 어떻게 비교되는가?

주요 결과

• MetaQNN은 CIFAR-10, SVHN, MNIST에서 같은 계층 타입으로 설계된 기존 네트워크를 이긴 CNN을 발견합니다
• 상위 MetaQNN 모델은 더 복잡한 계층 타입과 학습 절차를 사용하는 최신 방법과 경쟁적이며 때로는 이를 능가합니다
• 최상위 MetaQNN 모델의 앙상블은 데이터 증강 없이 MNIST에서 우수한 결과를 달성합니다
• 최고의 CIFAR-10 모델 및 상위 모델 앙상블은 관련된 자동 설계 접근법보다 경쟁력 있거나 더 나은 성능을 보입니다
• 에이전트는 엡실론 감소에 따라 모델 선택이 향상됨을 보여주며 학습 과정을 검증합니다
• 상위 설계는 다른 데이터셋으로의 전달 가능성을 보이며 전달 학습에 적합함을 시사합니다