[논문 리뷰] RL Unplugged: A Suite of Benchmarks for Offline Reinforcement Learning

Çaǧlar Gülçehre, Ziyu Wang외 16명|arXiv (Cornell University)|2020. 06. 24.

Reinforcement Learning in Robotics인용 수 9

한 줄 요약

이 논문은 Atari 게임, DM Control Suite, 그리고 이동 작업을 포함한 다양한 도메인에서 표준화된 환경, 데이터셋, 평가 프로토콜을 제공하는 오프라인 강화학습을 위한 종합적인 벤치마크 세트인 RL Unplugged을 소개한다. 이는 시스템적이고 재현 가능한 오프라인 RL 알고리즘 비교를 가능하게 하며, 완전 관측 가능한 작업에서는 뛰어난 성능를 보이지만, 부분 관측 가능한 설정에서는 도전 과제가 있음을 드러낸다.

ABSTRACT

Offline methods for reinforcement learning have a potential to help bridge the gap between reinforcement learning research and real-world applications. They make it possible to learn policies from offline datasets, thus overcoming concerns associated with online data collection in the real-world, including cost, safety, or ethical concerns. In this paper, we propose a benchmark called RL Unplugged to evaluate and compare offline RL methods. RL Unplugged includes data from a diverse range of domains including games (e.g., Atari benchmark) and simulated motor control problems (e.g., DM Control Suite). The datasets include domains that are partially or fully observable, use continuous or discrete actions, and have stochastic vs. deterministic dynamics. We propose detailed evaluation protocols for each domain in RL Unplugged and provide an extensive analysis of supervised learning and offline RL methods using these protocols. We will release data for all our tasks and open-source all algorithms presented in this paper. We hope that our suite of benchmarks will increase the reproducibility of experiments and make it possible to study challenging tasks with a limited computational budget, thus making RL research both more systematic and more accessible across the community. Moving forward, we view RL Unplugged as a living benchmark suite that will evolve and grow with datasets contributed by the research community and ourselves. Our project page is available on https://git.io/JJUhd.

연구 동기 및 목표

• 표준화된 데이터셋과 평가 프로토콜를 제공함으로써 오프라인 강화학습의 재현성 위기를 해결한다.
• 다양하고 현실적인 환경에서 오프라인 RL 알고리즘 간의 공정하고 체계적인 비교를 가능하게 한다.
• 부분 관측 가능성, 확률적 동역학, 고차원 관측이 포함된 도전적인 도메인을 통해 시뮬레이션된 RL 연구와 실제 응용 간 격차를 메운다.
• 통합 API와 모든 알고리즘 및 데이터의 오픈소스화를 통해 연구 접근성을 높인다.
• 커뮤니티 기여와 새로운 데이터셋과 함께 발전하는 살아있는 벤치마크를 구축한다.

제안 방법

• 다양한 오프라인 RL 데이터셋에 대한 접근을 표준화하기 위해 통합 API를 설계한다.
• Atari 2600 게임, DM Control Suite, DM Locomotion, RWRL 작업 등 기존 벤치마크에서 데이터셋을 수집하고 정제한다.
• 이중 행동 공간(이산 대 연속), 완전 관측 대 부분 관측 상태, 확률적 대 결정적 동역학을 갖춘 환경을 포함한다.
• 각 환경에 대해 상세하고 일관된 평가 프로토콜를 정의하며, 오프라인 데이터셋에서 가장 좋은 정책을 사용한 점수 정규화를 포함한다.
• 동일한 프로토콜 하에 최신 오프라인 RL 알고리즘(SAC, BCQ, BRAC, BCQ, BCQ 등)을 구현하고 평가하여 공정한 비교를 보장한다.
• 모든 데이터셋, 코드, 평가 도구를 GitHub를 통해 공개하여 투명성과 재현 가능성을 증진한다.

실험 결과

연구 질문

• RQ1 관측 가능성과 동역학의 정도가 다른 다양한 벤치마크 환경에서 최신 오프라인 RL 알고리즘의 성능는 어떠한가?
• RQ2 이미지 기반 제어 작업과 같은 부분 관측 가능하고 고차원 관측 환경으로의 오프라인 RL 방법의 일반화 능력은 어느 정도인가?
• RQ3 평가 프로토콜의 표준화가 오프라인 RL 알고리즘 비교의 재현 가능성과 공정성 향상에 얼마나 기여하는가?
• RQ4 이동 및 민감한 제어 작업과 같은 도전적인, 실제 세계를 모델링한 환경에서 현재 오프라인 RL 방법의 성능 한계는 무엇인가?
• RQ5 통합 벤치마크 세트는 오프라인 RL 분야의 진전을 가속화하고 커뮤니티의 광범위한 채택을 지원할 수 있는가?

주요 결과

• DM Control Suite와 Atari 2600 게임의 완전 관측 제어 작업에서 오프라인 RL 방법은 강력한 성능를 보이며, 잘 연구된 도메인에서 오프라인 학습의 가능성을 입증한다.
• DM Locomotion 세트와 같은 부분 관측 환경에서는 성능가 급격히 떨어지며, 이는 현재 방법들이 장기적이고 기억에 의존하는 작업에서 어려움을 겪고 있음을 시사한다.
• SAC, BRAC, BCQ와 같은 기존 알고리즘의 구현 과제가 벤치마크를 통해 드러나며, 재현 가능성을 확보하기 위해 표준화된 평가의 필요성을 강조한다.
• 오프라인 데이터셋에서 가장 좋은 정책을 사용한 점수 정규화는 환경 간 공정한 비교를 가능하게 하며, 중앙값 점수는 알고리즘 간 명확한 성능 격차를 보여준다.
• 이미지 기반 Atari에서 복잡한 이동 작업에 이르기까지 다양한 환경의 포함은 현재 오프라인 RL 일반화 및 표현 학습의 한계를 드러낸다.
• 데이터셋과 코드의 오픈소스화로 계산 자원이 제한된 연구자들도 최신 결과를 재현하고 확장할 수 있어, 분야의 접근성 향상에 기여한다.