[논문 리뷰] D4RL: Datasets for Deep Data-Driven Reinforcement Learning

Justin Fu, Aviral Kumar외 3명|arXiv (Cornell University)|2020. 04. 15.

Reinforcement Learning in Robotics참고 문헌 50인용 수 331

한 줄 요약

D4RL은 실제 세계 데이터 속성을 반영하도록 설계된 다양한 작업과 데이터셋을 갖춘 포괄적인 오프라인 강화학습 벤치마크 키트를 도입하며, 표준화된 평가 프로토콜과 오픈 소스 구현과 함께 제공됩니다.

ABSTRACT

The offline reinforcement learning (RL) setting (also known as full batch RL), where a policy is learned from a static dataset, is compelling as progress enables RL methods to take advantage of large, previously-collected datasets, much like how the rise of large datasets has fueled results in supervised learning. However, existing online RL benchmarks are not tailored towards the offline setting and existing offline RL benchmarks are restricted to data generated by partially-trained agents, making progress in offline RL difficult to measure. In this work, we introduce benchmarks specifically designed for the offline setting, guided by key properties of datasets relevant to real-world applications of offline RL. With a focus on dataset collection, examples of such properties include: datasets generated via hand-designed controllers and human demonstrators, multitask datasets where an agent performs different tasks in the same environment, and datasets collected with mixtures of policies. By moving beyond simple benchmark tasks and data collected by partially-trained RL agents, we reveal important and unappreciated deficiencies of existing algorithms. To facilitate research, we have released our benchmark tasks and datasets with a comprehensive evaluation of existing algorithms, an evaluation protocol, and open-source examples. This serves as a common starting point for the community to identify shortcomings in existing offline RL methods and a collaborative route for progress in this emerging area.

연구 동기 및 목표

• 큰 규모의 이전에 수집된 데이터셋을 활용하여 RL과 감독 학습 사이의 다리 역할로서 오프라인 강화학습을 고무한다.
• 협소한 분포, 시연, 정책의 혼합 등 실세계 데이터 수집의 도전을 반영하는 벤치마크를 설계한다.
• 재현 가능한 오프라인 RL 연구를 가능하게 하는 표준화된 평가 프로토콜과 오픈소스 참고 문헌을 제공한다.
• 단순한 작업을 넘어 알고리즘 성능을 구분하기 위해 다양한 도메인과 난이도를 다룬다.

제안 방법

• Maze2D, AntMaze, Gym-MuJoCo, Adroit, FrankaKitchen, Flow, 및 CARLA와 같은 도메인에 걸친 오프라인 작업과 데이터세트의 모음을 제안하여 현실적인 환경에서 오프라인 RL을 테스트한다.
• 비마코프적 동작, 희소 보상, 비지시적 데이터, 정책의 혼합과 같은 데이터 수집 특성을 특성화하여 오프라인 RL 알고리즘에 부담을 준다.
• 무작위 및 전문가 베이스라인을 사용하여 일관된 점수 체계로 성능을 정규화하여 작업 간 비교를 가능하게 한다.
• 제안된 작업에서 최첨단 오프라인 RL 알고리즘과 베이스라인을 벤치마크하여 강점과 약점을 식별한다.
• 커뮤니티 채택과 재현성을 촉진하기 위해 오픈소스 API, 데이터세트 및 참고 구현을 공개한다.

실험 결과

연구 질문

• RQ1 실제 세계의 데이터 수집을 반영하는 다양한 데이터셋에서 현재의 오프라인 RL 방법은 어떻게 성능을 나타내는가 (예: 시연, 정책의 혼합, 비마코프 데이터)?
• RQ2 어떤 데이터 속성이 오프라인 RL 알고리즘에 가장 큰 도전을 주며, 어떤 방법이 이를 가장 잘 처리하는가(예: 보수적 접근법 대 모방 학습 기반 베이스라인)?
• RQ3 정책의 혼합 또는 비지시적 데이터가 오프라인 RL 성능을 저하시키는가, 그리고 기존 방법이 이러한 분포를 다룰 수 있는가?
• RQ4 고희소 보상 또는 높은 탐색 도메인에서 고정된 데이터 조건하에 오프라인 RL이 온라인 베이스라인에 비해 이점을 제공하는가?

주요 결과

• 오프라인 RL 알고리즘은 작업 간 성능이 다양하며, 비지시적 데이터 및 정책 혼합 데이터에서 차이가 더 크게 나타난다.
• 보수적 방법들(BEAR, AWR, CQL, BCQ)은 Flow 및 Gym-MuJoCo 도메인에서 편향되고 좁은 데이터 분포를 잘 처리한다.
• 비마코프 데이터, 스티칭 요건, 또는 높은 관찰 복잡성을 가진 작업들(예: Maze2D, AntMaze, CARLA)은 대부분의 방법에 여전히 도전적이다.
• 희소 보상인 일부 도메인에서 오프라인 RL 방법이 온라인 SAC보다 우수할 수 있어 오프라인에서 탐색 문제를 다룰 잠재력을 강조한다.
• 전문가 데이터와 비최적 데이터를 결합한 데이터세트는 많은 알고리즘이 혼합 품질 데이터를 충분히 활용하지 못한다는 점을 드러내며 샘플 효율성 및 데이터 기반 정규화의 개선 필요성을 강조한다.
• 벤치마크는 간단한 작업을 넘는 기존 알고리즘의 한계를 드러내어 향후 오프라인 RL 연구를 이끈다.