[논문 리뷰] Learning to reinforcement learn for Neural Architecture Search

Jorge Gomez-Robles, Joaquin Vanschoren|arXiv (Cornell University)|2019. 11. 09.

Adversarial Robustness in Machine Learning참고 문헌 16인용 수 14

한 줄 요약

이 논문은 다양한 이미지 분류 데이터셋 간에 이식 가능한 정책을 학습하는 딥 메타강화학습(메타-RL) 프레임워크를 제안한다. 기존에 학습한 전략을 재사용함으로써, 자원 제약 조건 하에서도 기존의 강화학습(RL)보다 우수한 성능을 내며, 미리 보지 않은 데이터셋으로도 효과적으로 일반화되며, 학습 중에 적응적인 행동을 보여, 아키텍처 품질 측면에서 표준 RL을 능가한다.

ABSTRACT

Reinforcement learning (RL) is a goal-oriented learning solution that has proven to be successful for Neural Architecture Search (NAS) on the CIFAR and ImageNet datasets. However, a limitation of this approach is its high computational cost, making it unfeasible to replay it on other datasets. Through meta-learning, we could bring this cost down by adapting previously learned policies instead of learning them from scratch. In this work, we propose a deep meta-RL algorithm that learns an adaptive policy over a set of environments, making it possible to transfer it to previously unseen tasks. The algorithm was applied to various proof-of-concept environments in the past, but we adapt it to the NAS problem. We empirically investigate the agent's behavior during training when challenged to design chain-structured neural architectures for three datasets with increasing levels of hardness, to later fix the policy and evaluate it on two unseen datasets of different difficulty. Our results show that, under resource constraints, the agent effectively adapts its strategy during training to design better architectures than the ones designed by a standard RL algorithm, and can design good architectures during the evaluation on previously unseen environments. We also provide guidelines on the applicability of our framework in a more complex NAS setting by studying the progress of the agent when challenged to design multi-branch architectures.

연구 동기 및 목표

• NAS에서 새로운 데이터셋마다 강화학습(RL) 에이전트를 다시 훈련하는 데 드는 높은 계산 비용 문제를 해결하기 위해.
• 다양한 데이터셋 간에 일반화 가능한 정책을 학습하는 메타-RL 에이전트를 개발하여 NAS에서 전이 학습을 가능하게 하기 위해.
• 메타-RL 에이전트가 훈련 중에 전략을 적응적으로 수정하고, 추가 훈련 없이도 이전에 보지 않은 데이터셋으로 일반화할 수 있는지 평가하기 위해.
• 메타-RL 프레임워크가 다중 브랜치 신경망과 같은 더 복잡한 아키텍처로 확장 가능한지 탐색하기 위해.
• 자원 제약 조건 하에서 실제 NAS 환경에 메타-RL를 적용하기 위한 실용적인 지침을 제공하기 위해.

제안 방법

• 이 방법은 다양한 난이도 수준의 이미지 분류 데이터셋을 나타내는 환경의 집합에 대해 확률적 정책을 학습하는 딥 메타-RL 알고리즘을 사용한다.
• 에이전트는 아키텍처 탐색 과정에서의 시간적 의존성을 모델링하기 위해 순환 신경망(LSTM)을 사용하여 탐색 단계 간의 맥락을 유지한다.
• 정책은 메타학습 목표를 포함한 변형된 이점 운동가치 기반 강화학습(A2C) 알고리즘을 사용하여 훈련되며, 다수의 작업에 걸쳐 성능을 최적화하도록 설계된다.
• 프레임워크는 점차 어려워지는 세 가지 데이터셋(CIFAR-10, CIFAR-100, ImageNet-100)을 포함한 메타-데이터셋을 사용하여 다양한 탐색 환경을 시뮬레이션한다.
• 평가 시에는 고정된 정책을 두 개의 새로운, 이전에 보지 않은 데이터셋에 적용하여 제로샷 일반화 능력을 테스트한다.
• 행동 공간은 체인 구조를 가진 신경망 아키텍처 위에서 정의되며, 기본 모듈의 사전 정의된 검색 공간 기반으로 연산이 선택된다.

실험 결과

연구 질문

• RQ1 메타-RL 에이전트는 다양한 이미지 분류 데이터셋 간에 이식 가능한 정책을 학습할 수 있는가?
• RQ2 자원 제약 조건 하에서도 메타-RL 에이전트는 데이터셋의 난이도에 따라 훈련 중 전략을 적응적으로 수정하는가?
• RQ3 두 에이전트 모두가 이전에 보지 않은 데이터셋에서 평가되었을 때, 메타-RL 에이전트의 성능는 표준 RL보다 어떻게 다를까?
• RQ4 메타-RL 프레임워크는 다중 브랜치 신경망과 같은 더 복잡한 아키텍처로 확장될 수 있는가?
• RQ5 하이퍼파rameter 설정과 아키텍처 수정은 복잡한 검색 공간에서 에이전트의 탐색과 적응 능력을 향상시키는 데 어떤 영향을 미치는가?

주요 결과

• 자원 제약 조건 하에서도 메타-RL 에이전트는 표준 RL보다 더 우수한 성능을 내는 신경망 아키텍처를 설계하는 데 성공하였으며, 훈련 중 적응적인 행동을 통해 효과적인 적응을 보였다.
• 메타-RL 에이전트는 훈련 중 데이터셋의 난이도에 따라 전략을 수정하는 적응적인 행동을 보였으며, 이는 성능 향상에 기여하였다.
• 이전에 보지 않은 두 개의 데이터셋에서 평가한 결과, 고정된 정책이 인간이 설계한 기준보다 더 높고 일관성 있는 정확도를 달성하였다.
• 다중 브랜치 설정에서는 에이전트가 분기형 아키텍처를 충분히 탐색하지 못하고 체인 구조의 네트워크로 수렴하는 경향을 보였으며, 이는 탐색 능력의 한계를 시사한다.
• 메타-RL 에이전트의 학습 진전 속도는 느렸으며, 초기 탐색 단계가 매우 길었으며, 이는 하이퍼파rameter 조정(특히 j, η, 및 α)이 훈련 효율성을 향상시킬 수 있음을 시사한다.
• 다양한 데이터셋에서 관측된 낮은 정확도는 데이터셋 크기와 보상 추정의 계산적 허용 조건 때문이며, 이는 비용 절감 전략이 최종 모델 품질에 영향을 줄 수 있음을 시사한다.