[논문 리뷰] Autoregressive Dynamics Models for Offline Policy Evaluation and Optimization

Michael R. Zhang, Thomas Paine외 5명|arXiv (Cornell University)|2021. 04. 28.

Gaussian Processes and Bayesian Inference참고 문헌 46인용 수 10

한 줄 요약

이 논문은 이전 차원들에 조건화된 상태와 보상 차원을 순차적으로 예측하는 자기회귀적 동역학 모델을 제안하며, 상태에 의존하는 종속성을 더 잘 모델링함으로써 성능을 향상시킨다. 이 방법은 MuJoCo 벤치마크에서 오프라인 정책 평가 및 최적화에서 최신 기술 수준(SOTA) 성능을 달성하여 피드포워드 모델과 기존의 OPE 기준선을 모두 초월한다. 로그우도, 가치 추정, 정책 성능 측면에서 모두 슈퍼리어한 성능을 보였다.

ABSTRACT

Standard dynamics models for continuous control make use of feedforward computation to predict the conditional distribution of next state and reward given current state and action using a multivariate Gaussian with a diagonal covariance structure. This modeling choice assumes that different dimensions of the next state and reward are conditionally independent given the current state and action and may be driven by the fact that fully observable physics-based simulation environments entail deterministic transition dynamics. In this paper, we challenge this conditional independence assumption and propose a family of expressive autoregressive dynamics models that generate different dimensions of the next state and reward sequentially conditioned on previous dimensions. We demonstrate that autoregressive dynamics models indeed outperform standard feedforward models in log-likelihood on heldout transitions. Furthermore, we compare different model-based and model-free off-policy evaluation (OPE) methods on RL Unplugged, a suite of offline MuJoCo datasets, and find that autoregressive dynamics models consistently outperform all baselines, achieving a new state-of-the-art. Finally, we show that autoregressive dynamics models are useful for offline policy optimization by serving as a way to enrich the replay buffer through data augmentation and improving performance using model-based planning.

연구 동기 및 목표

• 표준 피드포워드 동역학 모델이 상태 차원 간 조건부 독립성을 가정한다는 한계를 해결하기 위해.
• 전이 분포 내 복잡한 종속성을 더 잘 포착할 수 있도록 더 표현력 있는 동역학 모델을 학습시켜 오프라인 정책 평가(OPE) 성능을 향상시키기 위해.
• 제안된 동역학 모델을 활용한 모델 기반 계획과 데이터 증강을 통해 오프라인 정책 최적화를 향상시키기 위해.
• 자기회귀적 모델링이 기존 피드포워드 및 모델리스 기준선 대비 OPE 및 오프라인 강화학습에서 뛰어난 성능을 내는지 입증하기 위해.

제안 방법

• 모델은 현재 상태-행동 쌍과 이전 차원들에 조건화되어 각 차원의 다음 상태와 보상을 순차적으로 예측하는 자기회귀적 구조를 사용한다.
• 정규화 플로 유사 아키텍처를 활용하여 이전 차원들에 조건화된 각 차원의 조건부 분포를 모델링함으로써 종속성의 더 유연하고 표현력 있는 표현을 가능하게 한다.
• 모델은 DM Control Suite의 보류된 전이 데이터에서 로그우도를 최대화하도록 훈련된다.
• 오프라인 정책 최적화를 위해, 모델은 합성 전이 데이터를 생성하기 위한 데이터 증강과 모델 예측 제어(MPC) 계획을 위한 가이드로 사용된다.
• 기본 오프라인 RL 알고리즘으로 Critic Regularized Regression(CRR)를 사용하며, 계획과 데이터 증강을 모두 적용하여 평가된다.
• 논문은 RL Unplugged 벤치마크의 MuJoCo 데이터셋에서 피드포워드 동역학 모델과 최신 기술 수준의 OPE 기준선과 비교된다.

실험 결과

연구 질문

• RQ1 표준 피드포워드 모델의 대각행렬 공분산을 가진 경우에 비해, 자기회귀적 동역학 모델이 상태 차원 간 종속성을 더 잘 포착할 수 있는가?
• RQ2 개선된 동역학 모델링이 다양한 지표에서 오프라인 정책 평가(OPE) 성능 향상에 기여하는가?
• RQ3 자기회귀적 동역학 모델이 데이터 증강과 모델 기반 계획을 통해 오프라인 정책 최적화를 향상시킬 수 있는가?
• RQ4 자기회귀적 모델의 성능 향상이 RL Unplugged 벤치마크의 다양한 연속 제어 과제에서 일관되게 유지되는가?

주요 결과

• 자기회귀적 동역학 모델은 DM Control Suite의 모든 9개 과제에서 피드포워드 모델보다 보류된 전이 데이터에 대해 유의미하게 높은 로그우도를 달성한다.
• 모델은 모든 기준선 OPE 방법보다 중앙절편 오차, 순위 상관관계, 정규화된 상위 5개의 회귀 오차 측면에서 우수한 성능을 보이며, 9개의 연속 제어 과제에서 최신 기술 수준 성능을 달성한다.
• Cheetah-run 및 Fish-swim 과제에서, 자기회귀 모델에 계획과 데이터 증강을 결합한 결과 이전 최신 기술 수준을 초월하여 새로운 최신 기술 수준 성능을 달성하였다.
• 자기회귀 모델을 활용한 데이터 증강과 계획은 CRR exp 대비 정책 성능을 향상시키며, 여러 과제에서 일관된 성과 향상을 보였다.
• 자기회귀적 동역학을 사용한 모델 기반 계획은 피드포워드 모델 대비 더 나은 가치 추정과 정책 성능을 제공한다.
• 결과는 상태 차원 간 종속성을 모델링하는 것이 정확한 동역학 모델링과 효과적인 오프라인 강화학습을 위해 필수적임을 입증한다.