[논문 리뷰] Datasets for Data-Driven Reinforcement Learning

Justin Fu, Aviral Kumar외 3명|arXiv (Cornell University)|2020. 04. 15.

Reinforcement Learning in Robotics참고 문헌 11인용 수 3

한 줄 요약

이 논문은 인간 및 수동으로 설계된 제어기 시연, 다중 작업 데이터, 혼합 정책 수집과 같은 현실적인 데이터셋 특성을 바탕으로 한 오프라인 강화학습을 위한 새로운 벤치마크 세트를 소개한다. 부분적으로 훈련된 에이전트에서 유래한 데이터가 아닌, 이 벤치마크는 기존 오프라인 RL 알고리즘의 심각한 결함을 드러내며, 오픈소스 도구를 활용한 표준화된 평가 프레임워크를 제공함으로써 분야 내 진전을 가속화한다.

ABSTRACT

The offline reinforcement learning (RL) setting (also known as full batch RL), where a policy is learned from a static dataset, is compelling as progress enables RL methods to take advantage of large, previously-collected datasets, much like how the rise of large datasets has fueled results in supervised learning. However, existing online RL benchmarks are not tailored towards the offline setting and existing offline RL benchmarks are restricted to data generated by partially-trained agents, making progress in offline RL difficult to measure. In this work, we introduce benchmarks specifically designed for the offline setting, guided by key properties of datasets relevant to real-world applications of offline RL. With a focus on dataset collection, examples of such properties include: datasets generated via hand-designed controllers and human demonstrators, multitask datasets where an agent performs different tasks in the same environment, and datasets collected with mixtures of policies. By moving beyond simple benchmark tasks and data collected by partially-trained RL agents, we reveal important and unappreciated deficiencies of existing algorithms. To facilitate research, we have released our benchmark tasks and datasets with a comprehensive evaluation of existing algorithms, an evaluation protocol, and open-source examples. This serves as a common starting point for the community to identify shortcomings in existing offline RL methods and a collaborative route for progress in this emerging area.

연구 동기 및 목표

• 실제 세계의 데이터 수집 시나리오를 반영하는 현실적이고 표준화된 오프라인 강화학습 벤치마크의 부족을 해결하기 위해.
• 인간 시연자, 수동으로 설계된 제어기, 혼합 정책를 통해 생성된 데이터셋을 활용하여 기존 오프라인 RL 알고리즘의 인식되지 않은 결함을 특정하고 드러내기 위해.
• 연구 공동체의 공통 기반을 제공하기 위해 평가 프rotocol, 데이터셋, 코드 예제를 포함한 포괄적인 오픈소스 벤치마크를 제공하기 위해.
• 간단한 작업과 부분적으로 훈련된 에이전트의 데이터를 넘어서, 공정하고 재현 가능한 오프라인 RL 알고리즘 평가를 가능하게 하기 위해.
• 실제 데이터 분포 특성(예: 분포 이탈, 작업 다양성 등)을 반영한 공통 벤치마크를 구축하여 오프라인 강화학습 분야의 협업적 진전을 촉진하기 위해.

제안 방법

• 인간 시연 및 수동으로 코딩된 제어기 등을 포함한 다양한 데이터 수집 방법을 반영한 실제 세계 환경을 시뮬레이션하는 벤치마크 작업을 설계하기 위해.
• 동일한 환경에서 다수의 별개 작업을 지원하는 다중 작업 데이터셋을 생성하여 일반화 및 전이 능력을 평가할 수 있도록 하기 위해.
• 전문가 행동과 열등한 행동을 포함한 다양한 정책의 혼합을 통해 현실적인 데이터 분포를 반영하는 데이터셋을 구축하기 위해.
• 동일한 데이터셋과 작업 구성에서 알고리즘 간의 일관된 비교를 가능하게 하는 표준화된 평가 프로토콜을 개발하기 위해.
• 재현 가능성과 공동체의 수용을 보장하기 위해 데이터셋, 평가 코드, 기초 구현을 포함한 전체 벤치마크 세트를 공개하기 위해.
• 실제 배포에 관련된 데이터셋 특성(예: 분포 이탈, 작업 다양성 등)에 집중하여 실질적 과제를 더 잘 반영하기 위해.

실험 결과

연구 질문

• RQ1 기존 오프라인 RL 알고리즘은 부분적으로 훈련된 에이전트에서 유래한 데이터가 아닌, 인간 시연자나 수동으로 설계된 제어기에서 수집된 데이터셋에서 어떻게 성능을 발휘하는가?
• RQ2 다중 작업 데이터셋에서 훈련된 알고리즘은 다수의 작업 간에 얼마나 잘 일반화되는가?
• RQ3 전문가 행동과 열등한 행동이 혼합된 정책 데이터셋은 오프라인 RL 알고리즘의 성능과 내성에 어떤 영향을 미치는가?
• RQ4 오프라인 강화학습 환경에서 비합성적(비가짜) 데이터셋을 사용할 경우, 기존 알고리즘의 어떤 결함가 드러나는가?
• RQ5 다양한 데이터셋 특성을 가진 표준화된 벤치마크는 오프라인 강화학습 연구의 재현 가능성과 비교 가능성 향상에 기여하는가?

주요 결과

• 기존 오프라인 RL 알고리즘은 인간 시연자나 수동으로 설계된 제어기에서 수집된 데이터셋에서 성능 저하를 보이며, 현실적인 데이터 분포에 대한 강건성 부족을 드러낸다.
• 다중 작업 데이터셋에서 훈련된 알고리즘은 작업 간 일반화 능력이 제한적이며, 제로샷 전이 능력의 격차를 드러낸다.
• 혼합 정책 데이터셋은 알고리즘의 불안정성과 과적합을 드러내며, 특히 열등한 행동이 데이터 분포를 지배할 경우 더욱 심각하다.
• 이 벤치마크는 현재 방법들이 다양한 데이터 수집 전략 간에서 일반화하지 못함을 드러내며, 더 강건한 오프라인 RL 알고리즘이 필요함을 시사한다.
• 표준화된 평가 프로토콜은 일관되고 재현 가능한 비교를 가능하게 하며, 이전 벤치마크 관행의 모순과 편향을 드러낸다.
• 오픈소스 벤치마크 프레임워크는 오프라인 RL 방법의 공동 평가 및 협업적 개선을 촉진한다.