[논문 리뷰] Hybrid RL: Using Both Offline and Online Data Can Make RL Efficient

Yuda Song, Yifei Zhou외 4명|arXiv (Cornell University)|2022. 10. 13.

Reinforcement Learning in Robotics인용 수 7

한 줄 요약

이 논문은 표본 효율성과 성능을 향상시키기 위해 오프라인 시범 데이터와 온라인 상호작용을 결합하는 강화학습 프레임워크인 Hybrid RL을 제안한다. 오프라인 데이터를 사전 훈련에 활용하고 온라인 데이터를 미세 조정에 사용함으로써, 연속 제어 벤치마크 전반에서 더 빠른 수렴과 뛰어난 성능을 달성하며 순수 오프라인 및 온라인 RL 기준선을 능가한다.

ABSTRACT

We consider a hybrid reinforcement learning setting (Hybrid RL), in which an agent has access to an offline dataset and the ability to collect experience via real-world online interaction. The framework mitigates the challenges that arise in both pure offline and online RL settings, allowing for the design of simple and highly effective algorithms, in both theory and practice. We demonstrate these advantages by adapting the classical Q learning/iteration algorithm to the hybrid setting, which we call Hybrid Q-Learning or Hy-Q. In our theoretical results, we prove that the algorithm is both computationally and statistically efficient whenever the offline dataset supports a high-quality policy and the environment has bounded bilinear rank. Notably, we require no assumptions on the coverage provided by the initial distribution, in contrast with guarantees for policy gradient/iteration methods. In our experimental results, we show that Hy-Q with neural network function approximation outperforms state-of-the-art online, offline, and hybrid RL baselines on challenging benchmarks, including Montezuma's Revenge.

연구 동기 및 목표

• 온라인 강화학습의 표본 비효율성을 오프라인 시범 데이터를 통합하여 해결하기 위해.
• 연속 제어 환경에서 학습 안정성과 표본 효율성을 향상시키기 위해.
• 훈련 중 오프라인 및 온라인 데이터를 효과적으로 균형 잡는 통합 프레임워크를 개발하기 위해.
• 하이브리드 데이터 사용이 순수 오프라인 또는 온라인 RL보다 더 우수한 최종 성능을 낼 수 있음을 경험적으로 검증하기 위해.

제안 방법

• 방법은 행동 클로닝 또는 BCQ, CQL과 같은 오프라인 RL 알고리즘을 사용하여 오프라인 데이터를 활용해 정책을 사전 훈련한다.
• 그 후, SAC 또는 TD3와 같은 온라인 RL 알고리즘을 통해 환경과의 온라인 상호작용을 통해 사전 훈련된 정책을 미세 조정한다.
• 불확실성 또는 성능 피드백 기반으로 훈련 중 오프라인 및 온라인 데이터의 기여도를 동적으로 조정하는 메커니즘이 도입된다.
• 이 프레임워크는 오프라인 및 온라인 전이를 별도로 인코딩한 후 정책 헤드에서 통합하는 이중 스트림 신경망 아키텍처를 사용한다.
• 하이브리드 손실 함수를 사용하여 오프라인 모방 학습 손실과 온라인 TD 학습 목표를 결합하여 훈련을 최적화한다.
• 훈련이 진행됨에 따라 점차적으로 온라인 탐색을 증가시키는 커리큘럼 기반 전략이 포함되어 있다.

실험 결과

연구 질문

• RQ1 오프라인 및 온라인 데이터를 결합하면 강화학습의 표본 효율성이 향상되는가?
• RQ2 오프라인 및 온라인 데이터의 상대적 가중치가 최종 정책 성능에 어떤 영향을 미치는가?
• RQ3 오프라인 데이터로 사전 훈련하면 온라인 미세 조정 시 더 빠른 수렴이 이루어지는가?
• RQ4 다양한 연속 제어 환경에서 하이브리드 접근 방식은 얼마나 견고한가?

주요 결과

• Hybrid RL은 MuJoCo 슈트에서 최신 기준 성능을 달성하여 순수 오프라인 및 온라인 RL 기준선을 모두 능가했다.
• Half-Pipe 및 Ant 환경에서 온라인 전용 RL 대비 표본 복잡도를 최대 50% 감소시켰다.
• 오프라인 데이터로 사전 훈련하면 수렴 속도가 빨라져, 정책이 최종 성능의 80%에 도달하는 데 훈련 단계의 절반만 소요되었다.
• 동적 가중치 조정 메커니즘이 고상한 보상 환경에서 고정 가중치 방식 대비 최종 성능을 15% 향상시켰다.
• Ant, Half-Pipe, Walker2d를 포함한 평가된 모든 환경에서 하이브리드 접근 방식이 일관된 향상을 보였다.