[논문 리뷰] Sample-Efficient Automated Deep Reinforcement Learning

Jörg K. H. Franke, Gregor Köhler외 2명|arXiv (Cornell University)|2020. 09. 03.

Reinforcement Learning in Robotics참고 문헌 39인용 수 4

한 줄 요약

이 논문은 공유 경험 재생을 사용하여 이완형 딥 강화학습에서 초모수와 신경망 구조를 동시에 최적화하는 인구 기반 AutoRL 프레임워크인 샘플 효율적 자동 강화학습(SEARL)을 제안한다. 병렬로 다수의 에이전트를 훈련하면서 동적 초모수 적응과 아키텍처 진화를 가능하게 함으로써, 랜덤 서치 및 PBT에 비해 환경 상호작용 횟수를 최대 10배 감소시키며, 샘플 효율성이 크게 향상된 우수하거나 동등한 성능을 달성한다.

ABSTRACT

Despite significant progress in challenging problems across various domains, applying state-of-the-art deep reinforcement learning (RL) algorithms remains challenging due to their sensitivity to the choice of hyperparameters. This sensitivity can partly be attributed to the non-stationarity of the RL problem, potentially requiring different hyperparameter settings at various stages of the learning process. Additionally, in the RL setting, hyperparameter optimization (HPO) requires a large number of environment interactions, hindering the transfer of the successes in RL to real-world applications. In this work, we tackle the issues of sample-efficient and dynamic HPO in RL. We propose a population-based automated RL (AutoRL) framework to meta-optimize arbitrary off-policy RL algorithms. In this framework, we optimize the hyperparameters and also the neural architecture while simultaneously training the agent. By sharing the collected experience across the population, we substantially increase the sample efficiency of the meta-optimization. We demonstrate the capabilities of our sample-efficient AutoRL approach in a case study with the popular TD3 algorithm in the MuJoCo benchmark suite, where we reduce the number of environment interactions needed for meta-optimization by up to an order of magnitude compared to population-based training.

연구 동기 및 목표

• 딥 강화학습(RL)에서 초모수 최적화(HPO)의 높은 샘플 복잡도가 실제 적용을 제한하므로 이를 해결하기 위해.
• 훈련 단계 동안 동적 초모수 적응을 통해 RL의 비정적 특성을 극복하기 위해.
• 최소한의 계산 오버헤드로 기울기 기반 딥 강화학습에 신경망 아키텍처 탐색(NAS)을 통합하기 위해.
• 실제 환경 상호작용 비용을 고려한 공정한 AutoRL 평가 프로토콜을 개발하기 위해.
• 공유 경험을 통한 초모수와 아키텍처의 동시 최적화가 뛰어난 샘플 효율성을 달성할 수 있음을 보여주기 위해.

제안 방법

• 다양한 초모수와 아키텍처를 가진 다수의 RL 에이전트를 동시에 훈련하는 인구 기반 진화 프레임워크.
• 인구 전체에 걸쳐 공유된 재생 메모리로, 수집된 경험을 재사용하여 샘플 효율성을 높임.
• 훈련된 가중치를 유지하면서 훈련 도중 깊이, 너비, 활성화 함수를 조정할 수 있는 진화 가능한 신경망.
• 진화적 돌연변이를 통한 동적 초모수 튜닝으로, 정적 설정이 아닌 구성 일정을 가능하게 함.
• 이완형 RL 알고리즘(TD3, DQN 등)과 알고리즘적 및 아키텍처 초모수를 동시에 최적화.
• 동기화된 진화 루프로, 인구 구성원 간의 조율을 보장하면서도 중복된 환경 상호작용을 최소화함.

실험 결과

연구 질문

• RQ1 RL 에이전트 인구 전체에 걸쳐 공유 경험 재생을 사용하면 메타최적화에 필요한 환경 상호작용 횟수를 크게 줄일 수 있는가?
• RQ2 훈련 도중 동적 초모수 적응이 정적 설정에 비해 최종 성능을 향상시키는가?
• RQ3 기울기 기반 딥 강화학습에 최소한의 계산 오버헤드로 효과적으로 신경망 아키텍처 진화를 통합할 수 있는가?
• RQ4 SEARL은 랜덤 서치 및 인구 기반 훈련(PBT)에 비해 샘플 효율성과 최종 성능에서 어떻게 비교되는가?
• RQ5 SEARL은 온정책 및 이완정책 설정을 포함한 다양한 RL 알고리즘과 환경으로 일반화 가능한가?

주요 결과

• MuJoCo 벤치마크에서 SEARL는 랜덤 서치 및 PBT에 비해 메타최적화에 필요한 환경 상호작용 횟수를 최대 10배(10×) 감소시켰다.
• 5개의 MuJoCo 환경 중 4개에서 SEARL는 최고의 랜덤 서치 및 PBT 설정과 동등하거나 뛰어난 성능을 달성했다.
• 공유된 재생 메모리의 사용 덕분에 SEARL는 단일 에이전트 훈련과 거의 동일한 샘플 비용으로 AutoRL를 수행할 수 있었으며, 환경 상호작용 오버헤드 측면에선 거의 '무료'에 가까웠다.
• SEARL는 훈련 단계에 따라 변화하는 효과적인 초모수 일정을 발견하여, RL 문제의 비정적 특성을 해결했다.
• SEARL는 다른 알고리즘으로도 잘 일반화되며, 5개의 Atari 환경 중 1개를 제외한 전부에서 랜덤 서치의 최고 설정을 뛰어넘는 성능을 보였다. 이는 Rainbow DQN을 튜닝할 때의 결과이다.
• SEARL는 단일 TD3 실행에 비해 환경 상호작용 횟수의 두 배만을 요구하면서도 동시에 초모수와 아키텍처 최적화를 수행하며, 뛰어난 샘플 효율성을 입증했다.