[논문 리뷰] Mastering the Unsupervised Reinforcement Learning Benchmark from Pixels

Sai Rajeswar, Pietro Mazzaglia외 5명|arXiv (Cornell University)|2022. 09. 24.

Multimodal Machine Learning Applications인용 수 5

한 줄 요약

이 논문은 픽셀 기반 비지도 강화학습 벤치마크(URLB)에서 93.59%의 정규화된 성능를 달성하기 위해 모델 기반 사전 훈련과 임무 인식 미세조정, 하이브리드 플래너인 Dyna-MPC를 결합한 새로운 비지도 강화학습 방법을 제안한다. 이는 자가지도 세계 모델과 상상 속에서의 효율적 계획을 활용하여 이전 방법들보다 크게 뛰어난 최신 기술 수준의 성능를 달성한다.

ABSTRACT

Controlling artificial agents from visual sensory data is an arduous task. Reinforcement learning (RL) algorithms can succeed but require large amounts of interactions between the agent and the environment. To alleviate the issue, unsupervised RL proposes to employ self-supervised interaction and learning, for adapting faster to future tasks. Yet, as shown in the Unsupervised RL Benchmark (URLB; Laskin et al. 2021), whether current unsupervised strategies can improve generalization capabilities is still unclear, especially in visual control settings. In this work, we study the URLB and propose a new method to solve it, using unsupervised model-based RL, for pre-training the agent, and a task-aware fine-tuning strategy combined with a new proposed hybrid planner, Dyna-MPC, to adapt the agent for downstream tasks. On URLB, our method obtains 93.59% overall normalized performance, surpassing previous baselines by a staggering margin. The approach is empirically evaluated through a large-scale empirical study, which we use to validate our design choices and analyze our models. We also show robust performance on the Real-Word RL benchmark, hinting at resiliency to environment perturbations during adaptation. Project website: https://masteringurlb.github.io/

연구 동기 및 목표

• 픽셀에서의 시각적 제어 작업에서 데이터 효율성의 과제를 해결하기 위해 비지도 강화학습(URL)의 일반화 능력을 향상시키는 것.
• 모델 기반 비지도 사전 훈련이 복잡한 픽셀 기반 환경에서 하류 임무 적응을 효과적으로 지원할 수 있는지 조사하는 것.
• URLB 벤치마크에서의 미세조정 효율성과 성능을 향상시키기 위해 임무 인식 적응 전략을 개발하는 것.
• 모델 자유형 및 모델 기반 계획을 결합한 향상된 데이터 효율성을 위한 하이브리드 플래너인 Dyna-MPC를 설계하고 평가하는 것.

제안 방법

• 비지도 사전 훈련 기간 동안 자가지도 상호작용을 통해 훈련된 세계 모델을 사용하여 픽셀에서 환경의 동역학을 학습한다.
• 사전 훈련된 세계 모델과 에이전트를 미세조정하고, 크리틱은 새로 훈련하는 임무 인식 미세조정 전략을 적용한다.
• 모델 자유형 CEM과 학습된 에이전트를 조합하여 상상 속에서의 계획 효율성과 성능을 향상시키는 하이브리드 플래너인 Dyna-MPC를 도입한다.
• 설계 선택 사항을 검증하고 방법의 구성 요소를 분석하기 위해 2,000개 이상의 실험을 실시한 대규모 실증 연구를 수행한다.
• 사전 훈련 기간 동안 탐색을 유도하기 위해 내재적 호기심과 잠재 동역학 모델링(LDS)의 조합을 사용한다.
• 효율적인 세계 모델 학습을 위해 이산 잠재 공간과 순환 동역학을 갖춘 DreamerV2 스타일 아키텍처를 활용한다.

실험 결과

연구 질문

• RQ1 모델 기반 비지도 사전 훈련이 픽셀 기반 시각적 제어 작업에서 일반화 능력과 데이터 효율성을 크게 향상시킬 수 있는가?
• RQ2 에이전트와 세계 모델의 선택적 미세조정을 포함한 임무 인식 미세조정이 URLB에서 하류 성능에 어떤 영향을 미치는가?
• RQ3 P2E와 비교해 볼 때, 하이브리드 플래너인 Dyna-MPC는 순수 모델 자유형 또는 모델 기반 플래너보다 성능 향상에 얼마나 기여하는가?
• RQ4 제안된 방법은 실제 환경의 교란 요소에 대해 일반화 가능한가? 이는 벤치마크를 초월한 강건성을 시사하는가?
• RQ5 비지도 사전 훈련과 미세조정에서 성능을 최대화하기 위한 핵심 설계 선택 사항은 무엇인가?

주요 결과

• 제안된 방법은 픽셀에서 URLB에서 93.59%의 정규화된 성능를 달성하여 이전 최고 기록을 크게 뛰어넘었다.
• 비지도 모델 기반 사전 훈련과 임무 인식 미세조정의 조합은 P2E만 사용한 경우보다 성능을 15.5% 향상시켰다.
• 하이브리드 플래너인 Dyna-MPC는 임무 인식 미세조정만 사용한 경우보다 성능을 5.77% 향상시켰다.
• 방법은 환경의 교란 요소에 대해 강건성을 보이며, 실세계 RL 벤치마크에서 뛰어난 일반화 능력을 입증했다.
• 보상이 희박한 환경, 예를 들어 Jaco 환경에서는 사전 훈련된 에이전트를 미세조정하는 것이 훨씬 더 높은 성능를 달성한다.
• 제거 실험 결과 모든 구성 요소—사전 훈련, 임무 인식 미세조정, 그리고 Dyna-MPC—이 최고 성능를 달성하기 위해 필수적임을 확인했다.