[논문 리뷰] Efficient Online Reinforcement Learning with Offline Data

Philip Ball, Laura Smith외 2명|arXiv (Cornell University)|2023. 02. 06.

Reinforcement Learning in Robotics인용 수 13

한 줄 요약

본 논문은 표준 오프폴리시 RL이 최소한의 변화로 온라인 학습을 위해 오프라인 데이터를 효과적으로 활용할 수 있음을 보여주고, 대칭 샘플링, LayerNorm, 그리고 앙상블을 사용하여 RLPD (Reinforcement Learning with Prior Data)를 도입하여 다양한 작업에서 강력한 성능을 달성한다.

ABSTRACT

Sample efficiency and exploration remain major challenges in online reinforcement learning (RL). A powerful approach that can be applied to address these issues is the inclusion of offline data, such as prior trajectories from a human expert or a sub-optimal exploration policy. Previous methods have relied on extensive modifications and additional complexity to ensure the effective use of this data. Instead, we ask: can we simply apply existing off-policy methods to leverage offline data when learning online? In this work, we demonstrate that the answer is yes; however, a set of minimal but important changes to existing off-policy RL algorithms are required to achieve reliable performance. We extensively ablate these design choices, demonstrating the key factors that most affect performance, and arrive at a set of recommendations that practitioners can readily apply, whether their data comprise a small number of expert demonstrations or large volumes of sub-optimal trajectories. We see that correct application of these simple recommendations can provide a $\mathbf{2.5 imes}$ improvement over existing approaches across a diverse set of competitive benchmarks, with no additional computational overhead. We have released our code at https://github.com/ikostrikov/rlpd.

연구 동기 및 목표

• 사전에 수집된 오프라인 데이터를 활용하여 온라인 RL에서 샘플 효율성과 탐색을 개선한다.
• 간단하고 최소한의 설계 선택만으로 오프라인 사전 학습 없이도 강한 성능을 가능하게 함을 보여준다.
• 도메인 전반에 걸쳐 오프라인 데이터를 적용하기 위한 실용적인 워크플로우와 ablation 연구를 제공한다.

제안 방법

• 추가 하이퍼파라미터 없이 온라인 데이터와 오프라인 데이터를 결합하기 위한 대칭 샘플링을 도입한다.
• 평가자(critic)에 Layer Normalization을 사용하여 Q-값의 외삽을 제한하고 학습을 안정화한다.
• 샘플 효율성을 향상시키기 위해 Q-함수의 대규모 앙상블(및 TD 백업)을 도입한다.
• 오프라인 전이에서의 Bellman 백업보다 온라인 백업을 활용하여 사전 학습이나 모방 항 없이 학습을 가속한다.
• 희소 보상에서 학습을 안정화하기 위해 엔트로피 백업과 임의 앙상블 증류를 선택적으로 포함한다.
• 환경별 설계 가이드와 RLPD를 도메인 전반에 적용하기 위한 실용적인 워크플로우를 제시한다.

실험 결과

연구 질문

• RQ1 기존의 오프폴리시 RL 알고리즘이 오프라인 사전 학습 없이 온라인 학습에 오프라인 데이터를 효과적으로 사용할 수 있는가?
• RQ2 오프라인 데이터를 가진 온라인 RL을 신뢰할 수 있고 샘플 효율적으로 만들기 위해 필요한 간단한 설계 선택은 무엇인가?
• RQ3 이 설정에서 LayerNorm이 값의 외삽 및 학습 안정성에 어떤 영향을 미치는가?
• RQ4 대형 앙상블과 대칭 데이터 샘플링이 다양한 오프라인 데이터 세트와 작업에 일반화되는가?
• RQ5 제안된 워크플로우가 픽셀 기반 관찰을 포함한 다양한 환경에서도 강건한가?

주요 결과

• RLPD는 Adroit, AntMaze, Locomotion 벤치마크의 21개 과제에서 이전의 최첨단 성과에 부합하거나 이를 능가한다.
• 대칭 샘플링(온라인/오프라인 50/50)은 하이퍼파라미터 조정 없이도 강한 성능을 제공한다.
• 크리틱의 LayerNorm은 값의 과도한 외삽을 크게 감소시키고 학습을 안정화시키며, 특히 오프라인 데이터가 제한적일 때 그렇다.
• 대형 앙상블과 TD 백업은 샘플 효율성을 향상시키며, 특히 희소 보상 설정과 픽셀 기반 작업에서 그렇다.
• 환경별 설계 선택이 반영된 실용적인 워크플로우는 다양한 도메인에서 신뢰할 수 있는 성능 향상을 제공한다.