[논문 리뷰] Behavior Regularized Offline Reinforcement Learning

Yifan Wu, George Tucker외 1명|arXiv (Cornell University)|2019. 11. 26.

Reinforcement Learning in Robotics참고 문헌 33인용 수 249

한 줄 요약

본 논문은 BRAC를 제시한다. 이는 오프라인 강화학습을 위한 유연한 프레임워크로, 학습된 정책을 행동 정책을 향해 정규화하며, 단순한 설계 선택으로도 무거운 앙상블이나 적응적 정규화 없이도 최첨단 성능에 버금갈 수 있음을 보여준다.

ABSTRACT

In reinforcement learning (RL) research, it is common to assume access to direct online interactions with the environment. However in many real-world applications, access to the environment is limited to a fixed offline dataset of logged experience. In such settings, standard RL algorithms have been shown to diverge or otherwise yield poor performance. Accordingly, recent work has suggested a number of remedies to these issues. In this work, we introduce a general framework, behavior regularized actor critic (BRAC), to empirically evaluate recently proposed methods as well as a number of simple baselines across a variety of offline continuous control tasks. Surprisingly, we find that many of the technical complexities introduced in recent methods are unnecessary to achieve strong performance. Additional ablations provide insights into which design choices matter most in the offline RL setting.

연구 동기 및 목표

• 단일 프레임워크 하에서 오프라인 RL 알고리즘의 설계 선택의 중요성을 평가한다.
• 행동 정규화 변형(가치 페널티 vs 정책 정규화)과 발산 측정치를 비교한다.
• 단순한 BRAC 변형이 정교한 오프라인 RL 방법과 대등하거나 이를 능가할 수 있는지 평가한다.
• 오프라인 RL 성능에 가장 큰 영향을 미치는 구성 요소에 대한 실용적인 지침을 제공한다.

제안 방법

• 행동 정규화를 통해 기존의 오프라인 RL 접근법을 하나로 통합하는 BRAC 프레임워크를 제안한다.
• 행동 정책을 향해 정규화하기 위해 가치 페널티 또는 정책 정규화를 사용한다.
• BRAC 변형을 서로 다른 발산(MMD, KL, Wasserstein) 및 목표 Q-값 추정 스킴으로 구체화한다.
• 연속 제어 작업에서 정규화 유형, Q-값 앙상블, 발산 선택에 대한 제어된 제거 실험을 수행한다.
• 정책 학습률과 정규화 강도에 대한 그리드 검색을 실행하여 민감성을 평가한다.

실험 결과

연구 질문

• RQ1 연속 제어 과제에서 오프라인 RL 성능에 결정적인 BRAC 설계 선택은 무엇인가?
• RQ2 단순한 BRAC 변형으로 sufficient, 아니면 복잡한 앙상블과 적응적 정규화가 필요한가?
• RQ3 오프라인 RL 설정에서 정규화를 위한 서로 다른 발산은 어떻게 비교되는가?
• RQ4 BRAC에서 일반적으로 가치 페널티가 정책 정규화보다 우수한가?
• RQ5 BRAC 변형은 하이퍼파라미터와 데이터 세트 품질에 얼마나 민감한가?

주요 결과

• 단순한 BRAC 변형으로도 무거운 앙상블이나 적응적 정규화 없이도 강력한 오프라인 RL 성능을 달성할 수 있다.
• 두-Q 앙상블과 최소 타깃 Q 값을 사용하는 것이 일반적으로 효과적이다; 더 큰 앙상블은 이득이 제한적이다.
• 가치 페널티가 정책 정규화보다 우수한 경향이 있으나 두 변형 모두 부분적으로 학습된 기본 정책보다 낫다.
• 다른 발산(MMD, KL, Wasserstein)은 실질적으로 정규화에서 비슷하게 작동한다.
• 특히 정규화 강도에 대한 하이퍼파라미터 선택이 오프라인 RL 성공의 핵심 요인이다.