[논문 리뷰] RL Unplugged: Benchmarks for Offline Reinforcement Learning.

Çaǧlar Gülçehre, Ziyu Wang외 16명|arXiv (Cornell University)|2020. 06. 24.

Reinforcement Learning in Robotics인용 수 31

한 줄 요약

이 논문은 표준화된 프로토콜을 사용해 다양한 환경—아케이드 게임과 시뮬레이션된 제어 과제를 포함—에서 오프라인 강화학습 방법을 평가할 수 있는 종합적인 벤치마크 세트인 RL Unplugged을 소개한다. 이는 부분관측 가능하고 확률적이며 연속적 행동 영역에서 오프라인 강화학습 및 지도학습 방법의 체계적이고 재현 가능한 비교를 가능하게 하며, 연구를 가속화하기 위해 오픈소스 데이터셋과 알고리즘을 제공한다.

ABSTRACT

Offline methods for reinforcement learning have a potential to help bridge the gap between reinforcement learning research and real-world applications. They make it possible to learn policies from offline datasets, thus overcoming concerns associated with online data collection in the real-world, including cost, safety, or ethical concerns. In this paper, we propose a benchmark called RL Unplugged to evaluate and compare offline RL methods. RL Unplugged includes data from a diverse range of domains including games (e.g., Atari benchmark) and simulated motor control problems (e.g., DM Control Suite). The datasets include domains that are partially or fully observable, use continuous or discrete actions, and have stochastic vs. deterministic dynamics. We propose detailed evaluation protocols for each domain in RL Unplugged and provide an extensive analysis of supervised learning and offline RL methods using these protocols. We will release data for all our tasks and open-source all algorithms presented in this paper. We hope that our suite of benchmarks will increase the reproducibility of experiments and make it possible to study challenging tasks with a limited computational budget, thus making RL research both more systematic and more accessible across the community. Moving forward, we view RL Unplugged as a living benchmark suite that will evolve and grow with datasets contributed by the research community and ourselves. Our project page is available on this https URL.

연구 동기 및 목표

• 다양한 실제 세계와 유사한 환경에서 오프라인 강화학습 방법을 체계적이고 재현 가능하게 평가하는 데 도전한다.
• 연속적 및 이산적 행동을 포함한 부분관측 가능하고 완전관측 가능한 환경을 모두 지원하는 통합된 벤치마크 세트를 제공한다.
• 세부적인 평가 프로토콜을 사용해 오프라인 강화학습 및 지도학습 방법 간의 공정하고 표준화된 비교를 가능하게 한다.
• 데이터셋 기여를 장려하고 장기적인 확장성을 보장함으로써 공동체 주도의 벤치마크 진화를 지원한다.
• 사전 수집된 데이터셋과 오픈소스 구현을 제공함으로써 연구자들이 접근하기 위한 계산적 장벽을 낮춘다.

제안 방법

• 아케이드 게임과 DM Control Suite를 포함한 다양한 도메인에서 오프라인 데이터셋을 수집하고 정제하여 관측 공간 및 행동 공간 유형의 다양성을 포함한다.
• 관측 가능성, 행동 공간(이산/연속), 동역학(확률적/결정적)의 차이를 고려한 도메인별 평가 프로토콜을 설계한다.
• 오프라인 강화학습 방법의 성능 향상을 평가하기 위해 강력한 비교 기준으로 지도학습 베이스라인을 통합한다.
• 모든 과제에서 평가 지표와 학습 절차를 표준화하여 재현 가능성과 공정한 비교를 보장한다.
• 모든 알고리즘과 평가 코드를 구현하고 오픈소스로 제공하여 투명성과 공동체 재사용을 지원한다.
• 연구 공동체가 향후 데이터셋 기여와 확장을 가능하게 하기 위해 벤치마크를 살아있는 시스템으로 구성한다.

실험 결과

연구 질문

• RQ1 관측 가능성 수준과 행동 공간 유형이 다른 다양한 환경에서 오프라인 강화학습 방법의 성능는 어떻게 변화하는가?
• RQ2 실제 세계와 유사한 설정에서 지도학습 베이스라인은 오프라인 강화학습보다 성능이 뛰어나거나 강력한 기준이 될 수 있는가?
• RQ3 다양한 도메인에서 확률적 동역학과 결정적 동역학을 가진 환경에서 오프라인 강화학습 알고리즘이 얼마나 일반화되는가?
• RQ4 복잡한 제어 및 게임 환경에서 오프라인 강화학습 방법의 성능에 대해 데이터셋의 품질과 다양성은 어떤 영향을 미치는가?
• RQ5 표준화된 평가 프로토콜은 오프라인 강화학습 연구에서 재현 가능성 향상과 계산 오버헤드 감소에 어떤 영향을 미치는가?

주요 결과

• 벤치마크는 관측 가능성과 행동 공간 유형과 같은 환경 특성에 따라 오프라인 강화학습 방법 간의 성능 변동성이 뚜렷하게 드러남을 확인했다.
• 지도학습 베이스라인은 많은 과제에서 뛰어난 성능를 보였으며, 이는 오프라인 강화학습 평가에서 이들을 기준으로 삼는 것이 중요하다는 점을 시사한다.
• 고품질이고 다양한 데이터셋을 복잡한 환경에서 수집해 훈련한 오프라인 강화학습 방법은 샘플 효율성과 정책 성능 향상을 보였다.
• 표준화된 평가 프로토콜은 다양한 알고리즘과 연구 팀 간의 일관되고 재현 가능한 비교를 가능하게 했다.
• 데이터셋과 코드의 오픈소스화는 공동체의 광범위한 채택을 촉진하고 오프라인 강화학습 분야의 방법론 혁신을 가속화했다.
• 벤치마크의 확장성은 향후 데이터셋 기여와 평가 프레임워크의 장기적 진화를 가능하게 하여 지속적인 연구 지원을 가능하게 했다.