[논문 리뷰] A Survey on Offline Reinforcement Learning: Taxonomy, Review, and Open Problems

Rafael Figueiredo Prudencio, Marcos R. O. A. Máximo외 1명|arXiv (Cornell University)|2022. 03. 02.

Reinforcement Learning in Robotics인용 수 31

한 줄 요약

포괄적인 고찰로 오프라인 RL 방법에 대한 통합 분류 체계를 제안하고, 통일된 표기법으로 알고리즘적 접근법을 검토하며, 데이터셋과 벤치마크를 논의하고, 방법의 성능을 평가하며, 향후 문제점과 미래 방향을 제시한다.

ABSTRACT

With the widespread adoption of deep learning, reinforcement learning (RL) has experienced a dramatic increase in popularity, scaling to previously intractable problems, such as playing complex games from pixel observations, sustaining conversations with humans, and controlling robotic agents. However, there is still a wide range of domains inaccessible to RL due to the high cost and danger of interacting with the environment. Offline RL is a paradigm that learns exclusively from static datasets of previously collected interactions, making it feasible to extract policies from large and diverse training datasets. Effective offline RL algorithms have a much wider range of applications than online RL, being particularly appealing for real-world applications, such as education, healthcare, and robotics. In this work, we contribute with a unifying taxonomy to classify offline RL methods. Furthermore, we provide a comprehensive review of the latest algorithmic breakthroughs in the field using a unified notation as well as a review of existing benchmarks' properties and shortcomings. Additionally, we provide a figure that summarizes the performance of each method and class of methods on different dataset properties, equipping researchers with the tools to decide which type of algorithm is best suited for the problem at hand and identify which classes of algorithms look the most promising. Finally, we provide our perspective on open problems and propose future research directions for this rapidly growing field.

연구 동기 및 목표

• 오프라인 RL 방법을 분류하기 위한 통합 분류 체계를 제시하고 구성 요소가 전체 알고리즘을 형성하는 방식을 명확히 한다.
• 모델 기반, 한 단계, 모방 학습 등 클래스 전반에 걸친 상태-오프라인 RL 방법에 대한 포괄적이고 표기 일관된 리뷰를 제공한다.
• 오프라인 RL에 대한 기존 벤치마크/데이터셋을 평가하고 그 바람직한 속성과 한계를 논한다.
• 데이터셋 속성에 따른 방법의 성능 개요를 제시하여 특정 문제에 맞는 알고리즘 선택을 돕는다.
• 오프라인 RL의 향후 연구 방향과 해결해야 할 문제를 제시한다.

제안 방법

• 데이터 사용 방식(동적 모델, 궤적 분포, 또는 직접 모델 프리 학습) 및 계획 수립 여부 여부에 따라 오프라인 RL 방법을 묶는 고수준 분류 체계를 제안한다.
• 정책 제약, 정규화, 불확실성 추정 항을 포함하는 알고리즘 구성요소와 손실 함수를 하나의 통일된 표기로 설명한다.
• 클래스별(모델 기반, 한 단계, 모방 학습)로 문헌을 검토하고, 초기 연구, 최근 기사, 유망한 프리프린트를 논의한다.
• 데이터셋 속성과 벤치마킹 관행을 평가하고 바람직한 속성과 일반적인 함정을 식별한다.
• 데이터 속성별 방법의 성능 비교 시각화(성능 도표)를 제공하여 특정 데이터 체제에서 알고리즘을 선택하는 데 도움을 준다.

실험 결과

연구 질문

• RQ1 오프라인 RL 방법을 적절하게 분류하는 데 있어 기존의 모든 방법과 신진 방법을 포괄하는 적절한 분류 체계는 무엇인가?
• RQ2 다양한 데이터셋 속성에 대해 각 오프라인 RL 방법의 성능은 어떤가요, 그리고 어떤 클래스가 특정 데이터 체제에서 가장 유망한가?
• RQ3 오프라인 RL이 해결해야 할 주요 도전(분포 이탈, OOD 액션 등)은 무엇이며 어떤 기법이 이를 완화하는가?
• RQ4 오프라인 RL의 현재 벤치마크의 한계는 무엇이며, 바람직한 속성을 테스트하기 위해 데이터셋을 어떻게 개선할 수 있는가?
• RQ5 오프라인 RL을 발전시키는 데 가장 영향력 있는 열린 문제와 향후 방향은 무엇인가?

주요 결과

• 새로운 분류 체계가 제안되어 모델 기반, 한 단계, 모방 학습을 포함한 다양한 오프라인 RL 방법과 정책 제약, 정규화, 불확실성 항과 같은 손실 수정이 아우르게 된다.
• 환경 상호작용의 부재로 인한 분포적 이탈이 발생하므로, 행동 정책 제약, 보수적 가치 추정, 불확실성 기반 계획과 같은 기법이 필요하다.
• 데이터셋 속성과 벤치마크의 한계를 분석하여 연구자들이 적절한 평가 설정을 선택하고 방법이 성공하거나 실패하는 데이터 체제를 식별하도록 돕는다.
• 일관된 표기법과 포괄적 문헌 검토를 통해 구성 요소가 성능에 어떻게 기여하는지 명확히 설명한다.
• 확장 가능한 오프폴리시 평가(OPE) 개선, 신뢰할 수한 오프라인 RL 워크플로우 확립, 알고리즘의 보수성 동적 조정 등의 열린 문제를 확인했다.