[논문 리뷰] Benchmarking Deep Reinforcement Learning for Continuous Control

Yan Duan, Xi Chen외 3명|arXiv (Cornell University)|2016. 04. 22.

Reinforcement Learning in Robotics참고 문헌 64인용 수 966

한 줄 요약

이 논문은 31개의 연속 제어 작업의 포괄적 벤치마크를 도입하고 딥 강화 학습 알고리즘 모음을 체계적으로 평가하며, TNPG, TRPO, DDPG를 많은 작업에서 효과적이라고 강조하고 계층적 작업에서의 도전을 주목합니다.

ABSTRACT

Recently, researchers have made significant progress combining the advances in deep learning for learning feature representations with reinforcement learning. Some notable examples include training agents to play Atari games based on raw pixel data and to acquire advanced manipulation skills using raw sensory inputs. However, it has been difficult to quantify progress in the domain of continuous control due to the lack of a commonly adopted benchmark. In this work, we present a benchmark suite of continuous control tasks, including classic tasks like cart-pole swing-up, tasks with very high state and action dimensionality such as 3D humanoid locomotion, tasks with partial observations, and tasks with hierarchical structure. We report novel findings based on the systematic evaluation of a range of implemented reinforcement learning algorithms. Both the benchmark and reference implementations are released at https://github.com/rllab/rllab in order to facilitate experimental reproducibility and to encourage adoption by other researchers.

연구 동기 및 목표

• 표준화되고 도전적인 연속-제어 벤치마크가 필요하다고 제시하여 딥 RL의 진전을 정량화해야 한다.
• 물리 시뮬레이터에서 구현된 기본, 이동, 부분 관측성, 계층적 구조를 아우르는 다양한 작업 스위트를 제공한다.
• 딥 뉴럴 정책에 대한 그래디언트 기반 및 그래디언트 없이 학습하는 알고리즘의 범위를 평가하여 강점과 한계를 식별한다.

제안 방법

• 유한 수평 할인 MDP를 정의하고 필요에 따라 POMDP로 확장한다.
• Box2D 및 MuJoCo 시뮬레이터를 사용하여 네 가지 범주에 걸친 31개의 연속 제어 작업을 구현한다.
• 온라인 학습을 위해 DDPG를 포함하고, 그래디언트 기반(REINFORCE, TNPG, TRPO, RWR, REPS) 및 그래디언트 없는(CEM, CMA-ES) 방법의 모음을 벤치마크한다.
• 기본/이동/계층적 작업에는 피드포워드 뉴럴 네트워크 정책을, 부분적으로 관측 가능한 작업에는 순환 정책을 사용하고 분산을 줄이기 위한 표준 베이스라인을 사용한다.
• 여러 난수 시드를 사용하여 평가하고, 대부분의 알고리즘에 대해 하이퍼파라미터를 격자 탐색하며 평균 성능과 표준 편차를 보고한다.

실험 결과

연구 질문

• RQ1 다양한 강화 학습 알고리즘이 연속 제어 작업 폭에서 어떻게 수행되는가?
• RQ2 배치 그래디언트 기반 방법과 온라인 방법 DDPG 간의 상대적 강점과 한계는 무엇인가?
• RQ3 순환 정책이 부분적으로 관측 가능한 설정에서 이점을 제공하는가, 그리고 이것이 그래디언트 기반 대 그래디언트 없는 최적화와 어떻게 상호 작용하는가?
• RQ4 계층적 작업은 현재 알고리즘의 격차를 드러내며 구조를 자동으로 발견하고 활용하는 새로운 접근이 필요한가?

주요 결과

• TNPG와 TRPO는 일반적으로 다른 배치 알고리즘보다 더 나은 성능을 보이며 정책 분포 제약을 통해 안정적인 학습을 제공한다.
• REINFORCE는 기본 및 이동 작업에서 효과적일 수 있지만 일부 작업에서 로컬 옵티마로 조기에 수렴할 수 있다.
• RWR은 하이퍼파라미터 튜닝 없이도 일부 기본 작업을 해결할 수 있지만 이동 작업에서는 어려움을 겪는다.
• DDPG는 일부 작업(Half-Cheetah 같은)에서 더 빠르게 수렴하지만 안정성 문제와 보상 스케일링 민감도를 보인다.
• 대부분의 알고리즘은 계층적 작업에서 성능이 저조해 자동으로 계층적 구조를 발견하고 활용하는 방법의 필요성을 시사한다.
• CEM은 단순한 작업에서 우수할 수 있으나 차원이 증가하고 복잡한 동적 특성에서 악화되며 CMA-ES는 고차원 작업에서 메모리 한계로 실패할 수 있다.