[논문 리뷰] Revisiting Design Choices in Offline Model-Based Reinforcement Learning

Cong Lu, Philip Ball외 3명|arXiv (Cornell University)|2021. 10. 08.

Reinforcement Learning in Robotics인용 수 6

한 줄 요약

이 논문은 오프라인 모델기반 강화학습의 핵심 설계 결정 요소를 재평가하며, 특히 불확실성 추정과 하이퍼파rameter 튜닝에 초점을 맞춘다. 새로운 평가 프로토콜을 도입하고 베이지안 최적화를 활용하여, MuJoCo 및 Adroit 벤치마크에서 MOPO 및 COMBO와 같은 최신 기법들을 크게 능가하는 우수한 하이퍼파rameter 설정을 규명한다. 이는 향상된 불확실성 추정과 체계적인 하이퍼파rameter 선택 덕분에 최대 43%의 성능 향상을 이룬다.

ABSTRACT

Offline reinforcement learning enables agents to leverage large pre-collected datasets of environment transitions to learn control policies, circumventing the need for potentially expensive or unsafe online data collection. Significant progress has been made recently in offline model-based reinforcement learning, approaches which leverage a learned dynamics model. This typically involves constructing a probabilistic model, and using the model uncertainty to penalize rewards where there is insufficient data, solving for a pessimistic MDP that lower bounds the true MDP. Existing methods, however, exhibit a breakdown between theory and practice, whereby pessimistic return ought to be bounded by the total variation distance of the model from the true dynamics, but is instead implemented through a penalty based on estimated model uncertainty. This has spawned a variety of uncertainty heuristics, with little to no comparison between differing approaches. In this paper, we compare these heuristics, and design novel protocols to investigate their interaction with other hyperparameters, such as the number of models, or imaginary rollout horizon. Using these insights, we show that selecting these key hyperparameters using Bayesian Optimization produces superior configurations that are vastly different to those currently used in existing hand-tuned state-of-the-art methods, and result in drastically stronger performance.

연구 동기 및 목표

• 오프라인 모델기반 RL에서 이론적 보장과 실질적 구현 간 괴리, 특히 불확실성 페널티에 대해 탐구한다.
• 모델기반 롤아웃에 의해 유도되는 공변량 이동 조건 하에서, 다양한 불확실성 히وري스틱이 진정한 다이내믹스 오차를 얼마나 잘 캡처하는지 평가한다.
• 불확실성 지표와 핵심 하이퍼파ram터(예를 들어 모델 수와 가상 롤아웃 기간) 간의 상호작용을 연구한다.
• 오프라인 MBRL에서 모델 활용의 실제 도전 과제를 더 잘 반영하는 새로운 평가 프로토콜을 개발한다.
• 베이지안 최적화로 도출된 최적의 하이퍼파ram터 설정이 다양한 환경, 특히 희소 보상의 민감한 조작 작업에서 뛰어난 안정성과 성능을 보임을 입증한다.

제안 방법

• 공변량 이동 조건 하에서 모델 활용을 고립하고 측정할 수 있는 새로운 평가 프로토콜을 제안하여, 불확실성 교정의 정확한 평가를 가능하게 한다.
• 에이다티브 유형의 불확실성 히وري스틱(예: 앙상블 분산, 알레아토릭 불확실성, 온라인 RL 지표)을 진정한 다이내믹스 오차와 비교하여 롤아웃 중에 측정한다.
• 성능을 목적 함수로 삼아, 모델 수, 롤아웃 기간, 페널티 계수 등 핵심 하이퍼파ram터를 동시에 튜닝하기 위해 베이지안 최적화를 활용한다.
• 통계적 신뢰성과 성능 비교의 강건성을 보장하기 위해 rliable 라이브러리를 활용한 새로운 벤치마킹 프레임워크를 도입한다.
• MuJoCo 이동 작업과 희소 보상 및 인간 시연가 포함된 Adroit 민감한 조작 작업을 포함한 다양한 환경에서 결과를 검증한다.
• 정확도가 떨어지는 모델 영역의 정책 활용을 방지하기 위해 불확실성 기반 페널티를 포함한 낙관주의 MDP 설정을 사용하며, 다양한 페널티 유형의 영향을 체계적으로 테스트한다.

실험 결과

연구 질문

• RQ1 오프라인 MBRL에서 기존의 불확실성 히وري스틱은 모델 롤아웃 조건 하에서 실제 다이내믹스 오차와 얼마나 잘 상관관계를 가지는가?
• RQ2 불확실성 지표와 핵심 하이퍼파ram터(예: 모델 수, 가상 롤아웃 기간) 간의 상호작용 효과는 어떠한가?
• RQ3 베이지안 최적화가 오프라인 MBRL에서 수작업 튜닝된 최신 기법을 크게 능가하는 하이퍼파라미터 설정을 식별할 수 있는가?
• RQ4 다양한 환경, 특히 희소 보상과 좁은 데이터 분포를 가진 환경에서 다양한 불확실성 페널티가 얼마나 일반화되는가?
• RQ5 불확실성 지표의 선택은 오프라인 MBRL에서 정책의 안정성과 최종 성능에 어떤 영향을 미치며, 특히 민감한 조작 작업과 같은 실제 환경에서 어떻게 작용하는가?

주요 결과

• 표준 앙상블 분산 페널티가 롤아웃 중 진정한 다이내믹스 오차와 가장 밀접한 상관관계를 보이며, 다른 불확실성 히وري스틱보다 모델 정확도 저하를 더 잘 캡처한다.
• 베이지안 최적화를 통한 하이퍼파라미터 튜닝은 모든 환경에서 이전에 그리드 서치된 방법 대비 43% 성능 향상을 이끌어내며, rliable 프레임워크 하에서 통계적으로 유의미한 결과를 보였다.
• 베이지안 최적화로 도출된 최적의 하이퍼파라미터 설정은 기존 최신 기법(MOPO 및 COMBO 포함)에서 사용된 설정과 크게 다름을 확인하여, 현재 수작업 튜닝 방식의 부정확성과 괴리가 존재함을 시사한다.
• 향상된 방법은 이전에 오프라인 MBRL에서 다루지 않은 Adroit Pen 및 Hammer 환경에서 최신 기법을 초월하며, 일부 설정에서는 모델 프리 CQL조차도 능가한다.
• 최적화된 설정으로 훈련된 정책는 훈련 중 더 높은 안정성을 보이며, 성능이 뛰어난 체크포인트를 수작업으로 선별할 필요가 없어져 실제 적용에 있어 신뢰성을 향상시킨다.
• 본 연구는 오프라인 MBRL에서 성공을 위해 더 나은 불확실성 추정과 하이퍼파라미터 선택이 필수적임을 확인하였으며, 특히 데이터 다양성이 제한되고 보상이 희소한 도전적인 환경에서 그러한 중요성이 더욱 부각됨을 입증한다.