[论文解读] Autoregressive Dynamics Models for Offline Policy Evaluation and Optimization

Michael R. Zhang, Thomas Paine+5 more|arXiv (Cornell University)|Apr 28, 2021

Gaussian Processes and Bayesian Inference参考文献 46被引用 10

一句话总结

本文提出自回归动态模型，通过基于先前维度的条件依次预测状态和奖励维度，改进了对状态相关依赖关系的建模。该方法在MuJoCo基准上的离线策略评估与优化中达到最先进性能，其在对数似然、价值估计和策略性能方面优于前馈模型和现有的OPE基线方法。

ABSTRACT

Standard dynamics models for continuous control make use of feedforward computation to predict the conditional distribution of next state and reward given current state and action using a multivariate Gaussian with a diagonal covariance structure. This modeling choice assumes that different dimensions of the next state and reward are conditionally independent given the current state and action and may be driven by the fact that fully observable physics-based simulation environments entail deterministic transition dynamics. In this paper, we challenge this conditional independence assumption and propose a family of expressive autoregressive dynamics models that generate different dimensions of the next state and reward sequentially conditioned on previous dimensions. We demonstrate that autoregressive dynamics models indeed outperform standard feedforward models in log-likelihood on heldout transitions. Furthermore, we compare different model-based and model-free off-policy evaluation (OPE) methods on RL Unplugged, a suite of offline MuJoCo datasets, and find that autoregressive dynamics models consistently outperform all baselines, achieving a new state-of-the-art. Finally, we show that autoregressive dynamics models are useful for offline policy optimization by serving as a way to enrich the replay buffer through data augmentation and improving performance using model-based planning.

研究动机与目标

• 为解决标准前馈动态模型假设状态维度之间条件独立性所导致的局限性。
• 通过学习更具表现力的动态模型以更好地捕捉转移分布中的复杂依赖关系，从而改进离线策略评估（OPE）。
• 通过基于模型的规划与数据增强技术，利用所提出的动态模型提升离线策略优化性能。
• 证明与现有前馈模型和无模型基线相比，自回归建模在OPE和离线强化学习中均能实现更优性能。

提出的方法

• 该模型采用自回归结构，依次基于先前维度和当前状态-动作对，预测下一状态和奖励的每个维度。
• 采用类似归一化流的架构，对给定先前维度的每个维度的条件分布进行建模，从而实现对依赖关系的灵活且富有表现力的建模。
• 在DM Control Suite中保留的转移数据上，通过最大化对数似然进行训练。
• 在离线策略优化中，利用该模型生成合成转移数据以实现数据增强，并指导模型预测控制（MPC）规划。
• 评估采用Critic Regularized Regression（CRR）作为基础离线强化学习算法，同时应用规划与数据增强。
• 在RL Unplugged MuJoCo数据集套件上，将该模型与前馈动态模型及最先进OPE基线进行比较。

实验结果

研究问题

• RQ1 与具有对角协方差的标准前馈模型相比，自回归动态模型是否能更好地捕捉状态维度之间的依赖关系？
• RQ2 更优的动态建模是否能在多个指标上提升离线策略评估（OPE）的性能？
• RQ3 自回归动态模型是否可通过数据增强与基于模型的规划提升离线策略优化性能？
• RQ4 在RL Unplugged基准的多样化连续控制任务中，自回归模型的性能增益是否具有一致性？

主要发现

• 在DM Control Suite的全部9项任务中，自回归动态模型在保留转移数据上的对数似然显著高于前馈模型。
• 在中位数绝对误差、等级相关系数和归一化前5名遗憾等指标上，该模型优于所有基线OPE方法，在9项连续控制任务中达到最先进性能。
• 在Cheetah-run和Fish-swim任务中，结合规划与数据增强的自回归模型超越了先前最先进方法，实现了新的最先进性能。
• 通过数据增强与规划使用自回归模型，相比CRR exp，策略性能得到一致提升，且在多个任务中均取得显著增益。
• 基于自回归动态模型的规划方法在价值估计与策略性能方面优于前馈模型。
• 结果表明，对状态维度之间依赖关系的建模对于准确的动态建模与高效的离线强化学习至关重要。