[논문 리뷰] VRL3: A Data-Driven Framework for Visual Deep Reinforcement Learning

Che Wang, Xufang Luo외 2명|arXiv (Cornell University)|2022. 02. 17.

Tactile and Sensory Interactions인용 수 5

한 줄 요약

VRL3는 비-강화학습 데이터셋(예: ImageNet), 오프라인 전문가 시범 및 온라인 강화학습을 활용하는 데이터 기반의 세 단계 프레임워크로, 시각적 딥강화학습에서 최신 기술 수준의 샘플 효율성을 달성한다. 수동 조작 작업에서 샘플 효율성을 최대 780% 향상시키고, 가장 어려운 작업에서는 1220% 향상시키며, 이전 최고 기술 대비 계산 자원을 90% 감소시킨다.

ABSTRACT

We propose VRL3, a powerful data-driven framework with a simple design for solving challenging visual deep reinforcement learning (DRL) tasks. We analyze a number of major obstacles in taking a data-driven approach, and present a suite of design principles, novel findings, and critical insights about data-driven visual DRL. Our framework has three stages: in stage 1, we leverage non-RL datasets (e.g. ImageNet) to learn task-agnostic visual representations; in stage 2, we use offline RL data (e.g. a limited number of expert demonstrations) to convert the task-agnostic representations into more powerful task-specific representations; in stage 3, we fine-tune the agent with online RL. On a set of challenging hand manipulation tasks with sparse reward and realistic visual inputs, compared to the previous SOTA, VRL3 achieves an average of 780% better sample efficiency. And on the hardest task, VRL3 is 1220% more sample efficient (2440% when using a wider encoder) and solves the task with only 10% of the computation. These significant results clearly demonstrate the great potential of data-driven deep reinforcement learning.

연구 동기 및 목표

• 희소 보상과 현실적인 시각 입력을 가진 시각적 딥강화학습에서 낮은 샘플 효율성 문제를 해결하기 위해.
• 비-강화학습 데이터셋, 오프라인 시범, 온라인 강화학습 데이터를 포함한 다양한 데이터 소스를 완전히 활용하는 단순하면서도 강력한 프레임워크를 개발하기 위해.
• 다양한 데이터 소스를 체계적이고 모듈화된 파이프라인으로 통합하여 시각 제어 작업의 일반화 능력과 강건성을 향상시키기 위해.
• 공개된 코드, 철저한 아블레이션 분석, 재현 가능한 강력한 베이스라인과의 비교를 통해 재현 가능성 최대화를 위해.

제안 방법

• 1단계에서, 비-강화학습 대규모 데이터셋(예: ImageNet)을 사용해 시각 인코더를 사전 훈련하여 임의의 작업에 관계없이 시각적 표현을 학습한다.
• 2단계에서, 사전 훈련된 인코더를 사용해 액터-크리틱 강화학습 에이전트를 초기화하고, 전문가 시범 또는 수집된 오프라인 데이터를 사용해 오프라인 강화학습 기법으로 미세조정한다.
• 2단계 동안, 인코더와 정책-크리틱 구성 요소를 함께 최적화하여 작업에 특화된 표현을 학습한다.
• 3단계에서, 오프라인 데이터에서 초기화된 리PLAY 버퍼를 사용해 온라인 비대칭 강화학습을 적용하고, 치명적인 기억 상실을 방지하기 위해 제약된 Q-타겟 업데이트를 사용한다.
• 프레임워크는 오프라인 학습을 통해 데이터 재사용을 극대화하고, 세 단계 모두에서 안정성을 확보한다.
• 초기 설정 민감도 분석과 철저한 아키텍처 설계를 통해 비-강화학습에서 시각적 강화학습 작업으로의 원활한 도메인 전이를 보장함으로써 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 비-강화학습, 오프라인, 온라인 데이터를 조합한 데이터 기반 프레임워크가 시각적 DRL에서 샘플 효율성을 크게 향상시킬 수 있는가?
• RQ2 ImageNet과 같은 대규모 비-강화학습 데이터셋에서의 사전 훈련이 희소 보상 환경에서의 후속 시각 제어 성능에 어떤 영향을 미치는가?
• RQ3 사전 훈련된 시각 표현과 결합했을 때, 오프라인 시범이 시각적 DRL에서 학습에 얼마나 기여할 수 있는가?
• RQ4 다단계 프레임워크에서 오프라인 강화학습에서 온라인 강화학습으로 전환할 때 학습 안정성을 유지하는 방법은 무엇인가?
• RQ5 예를 들어 인코더 너비와 같은 아키텍처 선택이 최종 샘플 효율성과 성능에 어떤 영향을 미치는가?

주요 결과

• 희소 보상이 있는 어려운 시각 제어 작업 세트에서, VRL3는 이전 SOTA 대비 평균 780% 높은 샘플 효율성을 달성한다.
• 가장 어려운 작업에서는 VRL3가 1220% 더 높은 샘플 효율성을 보이며, 더 넓은 인코더를 사용할 경우 이는 2440%로 향상된다.
• VRL3는 이전 SOTA가 요구하는 계산 자원의 10%만으로도 가장 어려운 작업을 해결하여 높은 효율성 향상을 입증한다.
• Adroit 벤치마크에서 VRL3는 경쟁 방법들보다 훨씬 적은 데이터 샘플로 95%의 성공률을 달성하며 베이스라인을 초월한다.
• 광범위한 아블레이션 연구를 통해 각 단계가 성능 향상에 의미 있는 기여를 하며, 다양한 하이퍼파라미터 변화에 대해서도 메서드가 강건함을 확인했다.
• 프레임워크는 재현 가능하며 공개된 코드와 완전한 기술 세부 사항, 공정한 비교를 위한 재현된 베이스라인을 포함한다.