[论文解读] Model-Based Offline Reinforcement Learning with Pessimism-Modulated Dynamics Belief

Kaiyang Guo, Yunfeng Shao+1 more|arXiv (Cornell University)|Oct 13, 2022

Reinforcement Learning in Robotics被引用 6

一句话总结

该论文提出了一种基于模型的离线强化学习方法——悲观调节动力学信念（Pessimism-Modulated Dynamics Belief, PMDB），该方法在动力学模型上维护一个信念分布，并通过有偏采样进行策略优化。通过将离线强化学习形式化为交替马尔可夫博弈（alternating Markov game），PMDB根据策略的悲观性动态调整动力学信念权重，在D4RL基准上实现了最先进性能，且无需对奖励施加显式的不确定性惩罚。

ABSTRACT

Model-based offline reinforcement learning (RL) aims to find highly rewarding policy, by leveraging a previously collected static dataset and a dynamics model. While the dynamics model learned through reuse of the static dataset, its generalization ability hopefully promotes policy learning if properly utilized. To that end, several works propose to quantify the uncertainty of predicted dynamics, and explicitly apply it to penalize reward. However, as the dynamics and the reward are intrinsically different factors in context of MDP, characterizing the impact of dynamics uncertainty through reward penalty may incur unexpected tradeoff between model utilization and risk avoidance. In this work, we instead maintain a belief distribution over dynamics, and evaluate/optimize policy through biased sampling from the belief. The sampling procedure, biased towards pessimism, is derived based on an alternating Markov game formulation of offline RL. We formally show that the biased sampling naturally induces an updated dynamics belief with policy-dependent reweighting factor, termed Pessimism-Modulated Dynamics Belief. To improve policy, we devise an iterative regularized policy optimization algorithm for the game, with guarantee of monotonous improvement under certain condition. To make practical, we further devise an offline RL algorithm to approximately find the solution. Empirical results show that the proposed approach achieves state-of-the-art performance on a wide range of benchmark tasks.

研究动机与目标

• 通过提升动力学泛化能力以超越静态数据集，解决离线强化学习中的分布偏移问题。
• 克服基于奖励的不确定性惩罚在基于模型的离线强化学习中的局限性，避免过度保守。
• 提出一种系统性方法，将动力学不确定性整合到策略学习中，而无需依赖显式的Q值或奖励惩罚。
• 形式化一种基于信念的策略优化框架，通过策略依赖的重新加权自然诱导悲观行为。
• 在标准离线强化学习基准上实现最先进性能，同时保持样本效率和鲁棒性。

提出的方法

• 将离线强化学习形式化为策略与动力学对手之间的交替马尔可夫博弈（AMG），以诱导悲观行为。
• 维护一个关于动力学模型的信念分布，并通过策略依赖的重新加权进行更新，以反映悲观性。
• 从AMG形式化中推导出一种有偏采样过程，自然诱导出Pessimism-Modulated Dynamics Belief（PMDB）。
• 提出一种迭代正则化策略优化算法，在特定条件下具有单调改进保证。
• 设计一种实用的离线强化学习算法，通过Q函数与动力学信念的联合训练目标近似AMG解。
• 在训练中同时集成AMG和经验MDP损失，通过可调权重平衡信念学习与数据驱动学习。

实验结果

研究问题

• RQ1 能否在不施加显式奖励惩罚的情况下有效建模动力学不确定性，从而避免离线强化学习中的过度保守？
• RQ2 如何以策略依赖的方式更新动力学信念分布以反映悲观性？
• RQ3 交替马尔可夫博弈形式化能否在离线设置中实现稳定且持续改进的策略优化过程？
• RQ4 基于信念的采样是否在处理分布外状态-动作对方面优于基于不确定性的奖励惩罚？
• RQ5 所提方法能否在多样化的离线强化学习基准上实现最先进性能？

主要发现

• 所提出的PMDB方法在D4RL基准套件上实现了最先进性能，优于大多数先前方法，包括RAMBO。
• 在hopper-medium任务上，PMDB取得106.8 ± 0.2的性能，超过CQL（61.9 ± 6.4）、MOReL（84.0 ± 17.0）和RAMBO（87.0 ± 15.4）。
• 在walker2d-medium上，PMDB得分为94.2 ± 1.1，超过BEAR（59.8 ± 40.0）、BRAC（59.7 ± 39.9）和RAMBO（84.9 ± 2.6）。
• 在halfcheetah-medium上，PMDB实现75.6 ± 1.3的性能，优于CQL（46.9 ± 0.4）、MOReL（60.7 ± 4.4）和RAMBO（77.9 ± 4.0）。
• 该方法在多种数据集类型（包括随机、中等、专家和重放数据集）上均表现出稳健性能，表明其具有强大的泛化能力。
• 消融实验表明，性能对AMG与MDP损失权重的敏感性较低，表明训练动态稳定。