[논문 리뷰] Challenges and Opportunities in Offline Reinforcement Learning from Visual Observations

Cong Lu, Philip Ball외 4명|arXiv (Cornell University)|2022. 06. 09.

Reinforcement Learning in Robotics인용 수 4

한 줄 요약

이 논문은 DMControl Suite를 기반으로 한 시각적 관찰에서의 오프라인 강화학습을 위한 v-d4rl 벤치마크 세트를 소개한다. 이는 알고리즘의 표준화된 평가를 가능하게 하며, DreamerV2와 DrQ-v2를 오프라인 기반으로 변형하여 시각적 연속 제어 작업에서 뛰어난 성능을 입증한다. 이 과정에서 일반화 능력과 확장성 등의 핵심 과제를 드러내며, 연구를 가속화하기 위해 코드와 데이터를 오픈소스로 제공한다.

ABSTRACT

Offline reinforcement learning has shown great promise in leveraging large pre-collected datasets for policy learning, allowing agents to forgo often-expensive online data collection. However, offline reinforcement learning from visual observations with continuous action spaces remains under-explored, with a limited understanding of the key challenges in this complex domain. In this paper, we establish simple baselines for continuous control in the visual domain and introduce a suite of benchmarking tasks for offline reinforcement learning from visual observations designed to better represent the data distributions present in real-world offline RL problems and guided by a set of desiderata for offline RL from visual observations, including robustness to visual distractions and visually identifiable changes in dynamics. Using this suite of benchmarking tasks, we show that simple modifications to two popular vision-based online reinforcement learning algorithms, DreamerV2 and DrQ-v2, suffice to outperform existing offline RL methods and establish competitive baselines for continuous control in the visual domain. We rigorously evaluate these algorithms and perform an empirical evaluation of the differences between state-of-the-art model-based and model-free offline RL methods for continuous control from visual observations. All code and data used in this evaluation are open-sourced to facilitate progress in this domain.

연구 동기 및 목표

• 연속 제어 작업에서 시각적 관찰로부터의 오프라인 강화학습에 대한 표준화된 벤치마크가 부족한 문제를 해결한다.
• 다양한 행동 정책과 시각적 간섭을 포함한 실제 세계의 데이터 분포를 반영하는 포괄적인 벤치마크 세트(v-d4rl)를 구축한다.
• 모델 기반 및 모델리스 오프라인 강화학습 방법의 성능을 시각적 관찰에서 평가하며, 견고성, 일반화 능력, 확장성에 중점을 둔다.
• 현재 접근 방식에서의 핵심 실패 원인과 열린 문제, 특히 미관측 동역학으로의 일반화와 모델 기반 방법의 확장성에 대해 규명한다.
• 재현 가능하고 커뮤니티 기반의 시각적 오프라인 강화학습 연구를 가능하게 하기 위해 오픈소스 코드와 데이터셋을 제공한다.

제안 방법

• DMControl Suite를 기반으로 한 v-d4rl 벤치마크 세트를 설계하여, 다양한 행동 정책(랜덤, 중간, 전문가)과 시각적 모odalities를 통합한다.
• 학습 절차를 오프라인 데이터셋을 사용하도록 수정함으로써, 최신의 온라인 강화학습 알고리즘인 DreamerV2(모델 기반)와 DrQ-v2(모델리스)를 오프라인 변형으로 적응시킨다.
• 세 가지 핵심 바람직한 특성과 일치하는 평가 프로토콜 세트를 도입한다: 시각적 간섭에 대한 견고성, 동역학 간의 일반화 능력 향상, 확장성에 따른 성능 향상.
• 데이터 효율성을 평가하기 위해 RL 기반 방법과 비교하기 위해 행동 클로닝 베이스라인(DoQ+BC)을 구현한다.
• 시각적 관찰에서부터 엔드 투 엔드 학습이 가능하도록, 프로피오셉티브 상태 접근 없이도 원시 픽셀을 처리할 수 있는 시각 인코더(예: ResNet)를 사용한다.
• 다양한 데이터셋 크기로 모델을 훈련하고 평가하여 확장성과 점진적 수익 감소를 분석하며, 수익과 성공률과 같은 표준 지표를 사용한다.

실험 결과

연구 질문

• RQ1 다양한 행동 정책에서 훈련된 오프라인 강화학습 방법이 시각적 연속 제어 작업에서 어떻게 성능을 내는가?
• RQ2 훈련 데이터셋에 포함되지 않은 새로운 동역학으로 일반화할 수 있는 정도는 어느 정도인가?
• RQ3 데이터셋 크기가 증가함에 따라 성능은 어떻게 변화하며, 수익 감소가 어디서 발생하는가?
• RQ4 현재 오프라인 강화학습 방법이 시각적 간섭이나 분포 이탈에 직면했을 때의 핵심 실패 원인은 무엇인가?
• RQ5 간단한 온라인 강화학습 알고리즘의 오프라인 적응이 시각적 관찰 환경에서 기존의 전용 오프라인 강화학습 방법보다 뛰어난 성능을 낼 수 있는가?

주요 결과

• DreamerV2와 DrQ-v2를 오프라인 설정으로 단순하게 변형한 결과, 기존의 오프라인 강화학습 방법보다 시각적 연속 제어 작업에서 뛰어난 성능을 보이며 강력한 기준 성능을 확립한다.
• 오프라인 DV2는 전문가 지시보다 10배 적은 데이터를 사용하여 walker-walk 랜덤 데이터셋에서 약 500의 수익을 달성하며, 뛰어난 데이터 효율성을 입증한다.
• DrQ+BC는 오프라인 DV2보다 더 효율적으로 확장되며, 50만 개의 관측치를 8시간 내에 훈련(10만 개 데이터셋 기준 10시간 소요)하여 모델리스 방법의 계산적 이점이 뚜렷하다.
• 성능은 데이터셋 크기가 증가함에 따라 단조롭게 향상되지만, 원래 데이터셋 크기의 2배를 넘어서면 수익 감소가 나타나 성능 정체가 발생함을 시사한다.
• Both Offline DV2와 DrQ+BC는 데이터 확장에 따라 행동 클로닝보다 뚜렷한 성능 향상을 보이며, 평균 42.1%와 32.5%의 향상률을 기록하지만, BC는 단지 10.8%의 향상에 그친다.
• 두 방법 모두 미관측 동역학으로 일반화할 때 뚜렷한 성능 저하를 보이며, 시각적 오프라인 강화학습에서 일반화 능력 향상이 핵심 열린 과제임을 시사한다.