[논문 리뷰] The Challenges of Exploration for Offline Reinforcement Learning

Nathan Lambert, Markus Wulfmeier외 6명|arXiv (Cornell University)|2022. 01. 27.

Reinforcement Learning in Robotics인용 수 8

한 줄 요약

이 논문은 태스크에 종속되지 않는 탐색을 통해 데이터 수집과 정책 추론을 분리하는 Explore2Offline 프레임워크를 소개한다. 이는 사전 지식 없이 환경을 탐색하는 궁금증 기반 내재 동기를 사용한다. 보상 재라벨링를 통한 오프라인 강화학습을 통해 데이터 품질을 평가하였으며, 태스크에 종속되지 않는 탐색이 후행 태스크에 효과적인 데이터셋을 생성할 수 있음을 보여주며, 제안된 내재 모델 예측 제어(IMPC) 에이전트가 온라인 강화학습 데이터 수집과 유사한 성능을 달성한다.

ABSTRACT

Offline Reinforcement Learning (ORL) enablesus to separately study the two interlinked processes of reinforcement learning: collecting informative experience and inferring optimal behaviour. The second step has been widely studied in the offline setting, but just as critical to data-efficient RL is the collection of informative data. The task-agnostic setting for data collection, where the task is not known a priori, is of particular interest due to the possibility of collecting a single dataset and using it to solve several downstream tasks as they arise. We investigate this setting via curiosity-based intrinsic motivation, a family of exploration methods which encourage the agent to explore those states or transitions it has not yet learned to model. With Explore2Offline, we propose to evaluate the quality of collected data by transferring the collected data and inferring policies with reward relabelling and standard offline RL algorithms. We evaluate a wide variety of data collection strategies, including a new exploration agent, Intrinsic Model Predictive Control (IMPC), using this scheme and demonstrate their performance on various tasks. We use this decoupled framework to strengthen intuitions about exploration and the data prerequisites for effective offline RL.

연구 동기 및 목표

• 태스크에 종속되지 않는 탐색을 통해 수집된 데이터의 품질이 후행 오프라인 강화학습에서 어떻게 되는지 조사하기 위해.
• 궁금증 기반 내재 탐색이 여러 알려지지 않은 태스크를 해결하는 데 효과적인 데이터셋을 생성할 수 있는지 평가하기 위해.
• 모델 예측 제어와 내재 궁금증을 조합한 새로운 탐색 에이전트인 내재 모델 예측 제어(IMPC)를 개발하고 벤치마킹하기 위해.
• 강화학습에서 데이터 수집과 정책 추론 과정을 분리된 프레임워크를 통해 분리하기 위해.
• 비지도 데이터에 적용된 현재 오프라인 강화학습 알고리즘의 데이터 효율성, 전이 가능성 및 한계에 대한 경험적 통찰을 제공하기 위해.

제안 방법

• Explore2Offline를 제안한다. 이는 두 단계로 구성된 프레임워크이다. 첫 번째 단계에서는 태스크 지식 없이 내재 보상만을 사용하여 에이전트가 환경을 탐색한다. 두 번째 단계에서는 수집된 경험을 태스크에 맞는 보상으로 재라벨링하고 오프라인 강화학습에 사용한다.
• 수집된 리PLAY 버퍼에서 재라벨링된 데이터를 기반으로 정책을 학습하기 위해 오프라인 강화학습 알고리즘으로 비평가 정규화 회귀(CRR)를 사용한다.
• 내재 모델 예측 제어(IMPC)를 도입한다. 이는 학습된 동역학 모델과 단일 상태 궁금증 보상 보상의 조합을 통해 탐색을 위한 온라인 계획을 안내한다.
• 세계 모델의 예측 오차를 기반으로 한 내재 궁금증 보상을 사용하여 새로운 상태를 탐색하도록 유도한다.
• 동일한 데이터셋을 사용하여 랜덤, 궁금증 기반, IMPC 등의 다양한 데이터 수집 전략을 평가하여 여러 후행 태스크로의 전이 성능을 분석한다.
• 다양한 태스크의 목표 상태에 대해 희박한 +1 보상을 할당하기 위해 보상 재라벨링을 사용하여 태스크 간 전이 가능성 평가를 가능하게 한다.

실험 결과

연구 질문

• RQ1 내재 궁금증을 통한 태스크에 종속되지 않는 탐색이, 이전에 알려지지 않은 태스크를 위한 효과적인 오프라인 정책 학습을 가능하게 하는 데이터셋을 생성할 수 있는가?
• RQ2 궁금증 기반 에이전트가 수집한 데이터로 학습된 정책의 성능이 동일한 태스크에 대해 온라인 강화학습을 통해 수집된 데이터로 학습된 정책과 비교하여 어떻게 되는가?
• RQ3 다양한 난이도의 태스크에서, 다양한 데이터 수집 전략이 후행 전이 성능에 어떤 영향을 미치는가?
• RQ4 궁금증 기반 에이전트가 수집한 데이터의 품질이 후행 성능에 어떻게 영향을 미치며, 성공을 가장 잘 예측하는 데이터의 특성들은 무엇인가?
• RQ5 내재 탐색을 통해 수집된 단일 데이터셋이 목표 상태가 다른 여러 후행 태스크로 얼마나 일반화되는가?

주요 결과

• 랜덤 탐색 에이전트가 궁금증 기반 방법과 유사한 품질의 데이터를 수집하여, 철저한 탐색이 오프라인 강화학습에 충분한 데이터 다양성을 제공할 수 있음을 시사한다.
• 궁금증 기반 에이전트가 수집한 데이터로 학습된 정책이 훈련 태스크에서 온라인 강화학습 기준선과 유사한 성능을 달성하여, 태스크에 종속되지 않는 데이터 수집의 실현 가능성을 입증한다.
• 내재 모델 예측 제어(IMPC) 에이전트가 여러 후행 태스크에서 다른 궁금증 기반 방법들을 능가하여, 더 높은 데이터 효율성과 탐색 품질을 보였다.
• 태스크에 종속되지 않는 탐색을 통해 수집된 데이터는 특히 어려운 전이 태스크에서 강력한 전이 성능를 보였으며, 목표 불일치에 대한 강건성을 시사한다.
• 태스크-에이전트 조합 간 성능에 상당한 변동성이 있었으며, 이는 오프라인 강화학습 알고리즘(예: CRR)의 선택이 데이터 품질과 태스크 구조와 상호작용한다는 것을 시사한다.
• 본 연구는 데이터 품질이 탐색 전략에만 의존하는 것이 아니라, 데이터 특성과 오프라인 강화학습 알고리즘 간의 상호작용에 의해도 결정된다는 점을 강조한다.