[논문 리뷰] Revisiting Design Choices in Model-Based Offline Reinforcement Learning.

Cong Lu, Philip Ball외 3명|arXiv (Cornell University)|2021. 10. 08.

Reinforcement Learning in Robotics참고 문헌 45인용 수 4

한 줄 요약

이 논문은 모델 기반 오프라인 강화학습에서의 설계 선택을 재평가하며, 불확실성 히وري스틱과 하이퍼파라미터 설정을 비교함으로써 체계적 아블레이션과 베이지안 최적화를 통해 현재 최고 수준의 수작업 튜닝 설정과 매우 다름을 보이는 구성에서 뛰어난 성능이 도출됨을 입증한다. 특히 모델 수와 롤아웃 환경에서 두드러진다.

ABSTRACT

Offline reinforcement learning enables agents to leverage large pre-collected datasets of environment transitions to learn control policies, circumventing the need for potentially expensive or unsafe online data collection. Significant progress has been made recently in offline model-based reinforcement learning, approaches which leverage a learned dynamics model. This typically involves constructing a probabilistic model, and using the model uncertainty to penalize rewards where there is insufficient data, solving for a pessimistic MDP that lower bounds the true MDP. Existing methods, however, exhibit a breakdown between theory and practice, whereby pessimistic return ought to be bounded by the total variation distance of the model from the true dynamics, but is instead implemented through a penalty based on estimated model uncertainty. This has spawned a variety of uncertainty heuristics, with little to no comparison between differing approaches. In this paper, we compare these heuristics, and design novel protocols to investigate their interaction with other hyperparameters, such as the number of models, or imaginary rollout horizon. Using these insights, we show that selecting these key hyperparameters using Bayesian Optimization produces superior configurations that are vastly different to those currently used in existing hand-tuned state-of-the-art methods, and result in drastically stronger performance.

연구 동기 및 목표

• 오프라인 모델 기반 RL에서 모델 불확실성 히وري스틱에 기반한 실질적 구현과 페시즘틱 리턴에 대한 이론적 경계 간의 괴리 원인을 탐구하기 위해.
• 불확실성 히وري스틱이 모델 수와 상상의 롤아웃 환경과 같은 핵심 하이퍼파라미터와 상호작용하는 방식을 평가하기 위해.
• 기존 수작업 튜닝 최고 수준 방법을 초월하는 최적의 하이퍼파라미터 설정을 특정하기 위해.
• 베이지안 최적화가 오프라인 모델 기반 RL에서 직관에 어긋나는 높은 성능을 내는 설정을 발견할 수 있음을 보여주기 위해.

제안 방법

• 저자들은 다양한 하이퍼파라미터에서 불확실성 히وري스틱의 영향을 체계적으로 평가하기 위해 새로운 평가 프로토콜을 설계하였다.
• 몬테카를로 드롭아웃과 앙상블 기반 불확실성과 같은 다양한 불확실성 추정 방법을 페시즘틱 리턴 정규화의 맥락에서 비교하였다.
• 베이지안 최적화 프레임워크를 활용해 모델 수와 롤아웃 환경을 포함한 하이퍼파라미터 공간을 탐색하여 최적의 설정을 식별하였다.
• 불확실성 기반 페시즘티즘을 갖춘 학습된 다이내믹스 모델을 사용하여 표준 오프라인 RL 벤치마크에서 성능을 평가하였다.
• 다른 하이퍼파라미터를 제어함으로써 각 하이퍼파라미터의 영향을 분리하여 설계 선택의 아블레이션을 가능하게 하였다.

실험 결과

연구 질문

• RQ1 다양한 하이퍼파라미터 설정에서 오프라인 모델 기반 RL에서 다양한 불확실성 히وري스틱이 성능에 어떤 영향을 미치는가?
• RQ2 불확실성 히وري스틱과 모델 수 및 롤아웃 환경과 같은 핵심 하이퍼파라미터 간의 상호작용 효과는 무엇인가?
• RQ3 베이지안 최적화가 오프라인 모델 기반 RL에서 수작업 튜닝 SOTA 방법을 크게 능가하는 하이퍼파라미터 설정을 발견할 수 있는가?
• RQ4 현재 수작업 튜닝 설정이 체계적 탐색을 통해 특정된 최적 설정으로부터 얼마나 벗어나 있는가?

주요 결과

• 연구는 현재 최고 수준 방법에서의 수작업 튜닝 하이퍼파라미터 설정이 최적치가 아니며, 베이지안 최적화에 의해 도출된 설정과 상당히 다름을 드러냈다.
• 베이지안 최적화로 특정된 최적 설정은 기존 SOTA 방법보다 극적으로 뛰어난 성능을 내는 것으로 나타났다.
• 모델 수와 롤아웃 환경과 같은 하이퍼파라미터와의 불확실성 히وري스틱 간의 상호작용은 최종 성능에 상당한 영향을 미친다.
• 결과적으로 현재 불확실성 히وري스틱이 총 변동 거리 거리 기반 이론적 경계를 효과적으로 구현하지 못함을 보여주며, 실질적 구현에 격차가 있음을 시사한다.