[论文解读] Model-Based Offline Meta-Reinforcement Learning with Regularization

Sen Lin, Jialin Wan+3 more|arXiv (Cornell University)|Feb 7, 2022

Reinforcement Learning in Robotics被引用 4

一句话总结

本文提出 MerPO，一种基于模型的离线元强化学习框架，通过正则化策略优化来平衡元策略的探索与离线数据集的利用。通过引入一种在行为策略和元策略正则化器之间插值的元正则化演员-critic 方法，MerPO 确保在两种策略上均实现保证的性能提升，在离线元强化学习设置中实现更安全、更具泛化能力的策略学习。

ABSTRACT

Existing offline reinforcement learning (RL) methods face a few major challenges, particularly the distributional shift between the learned policy and the behavior policy. Offline Meta-RL is emerging as a promising approach to address these challenges, aiming to learn an informative meta-policy from a collection of tasks. Nevertheless, as shown in our empirical studies, offline Meta-RL could be outperformed by offline single-task RL methods on tasks with good quality of datasets, indicating that a right balance has to be delicately calibrated between "exploring" the out-of-distribution state-actions by following the meta-policy and "exploiting" the offline dataset by staying close to the behavior policy. Motivated by such empirical analysis, we explore model-based offline Meta-RL with regularized Policy Optimization (MerPO), which learns a meta-model for efficient task structure inference and an informative meta-policy for safe exploration of out-of-distribution state-actions. In particular, we devise a new meta-Regularized model-based Actor-Critic (RAC) method for within-task policy optimization, as a key building block of MerPO, using conservative policy evaluation and regularized policy improvement; and the intrinsic tradeoff therein is achieved via striking the right balance between two regularizers, one based on the behavior policy and the other on the meta-policy. We theoretically show that the learnt policy offers guaranteed improvement over both the behavior policy and the meta-policy, thus ensuring the performance improvement on new tasks via offline Meta-RL. Experiments corroborate the superior performance of MerPO over existing offline Meta-RL methods.

研究动机与目标

• 为解决离线元强化学习中的关键挑战：现有方法在不同质量的数据集上泛化能力不足，尤其是在行为策略质量较高时。
• 识别并解决离线元强化学习中探索与利用之间的不平衡问题，其中对元策略的过度依赖会导致分布偏移，而对行为策略的过度忠实则限制了泛化能力。
• 开发一种方法，确保在行为策略和元策略上均实现性能提升，从而在离线设置中实现安全可靠的策略更新。
• 通过学习的元模型和合成轨迹，实现高效的任务结构推理和安全的分布外状态-动作探索。

提出的方法

• 提出一种用于任务内策略优化的元正则化基于模型的演员-critic（RAC）方法，结合保守策略评估与正则化策略改进。
• 引入一种新颖的正则化器插值方法，结合基于行为策略的正则化器与基于元策略的正则化器，以平衡探索与利用。
• 从离线数据集中学习元模型，以实现快速准确的任务特定模型学习，并高效推断跨任务的结构。
• 利用学习到的动力学模型生成合成轨迹，以实现对分布外状态-动作的安全探索。
• 采用正则化策略改进模块，结合熵正则化与分布约束，防止过度乐观与分布偏移。
• 理论分析表明，在温和条件下，所得策略以高概率保证在行为策略和元策略上均实现性能提升。

实验结果

研究问题

• RQ1 如何设计一种离线元强化学习算法，以安全方式平衡利用元策略进行探索与给定离线数据集的利用？
• RQ2 为何现有离线元强化学习方法在高质量数据集上的表现仍逊于单任务强化学习，这一问题如何缓解？
• RQ3 基于模型的方法是否可通过保守动力学建模与正则化策略优化，确保在行为策略和元策略上均实现性能提升？
• RQ4 如何通过元模型生成的合成数据提升离线元强化学习中的泛化能力？
• RQ5 在正则化器权重方面，行为策略保真度与元策略引导之间的最优权衡是什么，以确保性能保证？

主要发现

• MerPO 在温和条件下以高概率实现对行为策略和元策略的保证性能提升，理论已证明。
• 该方法在多样化离线数据集上的泛化能力优于当前最先进的离线元强化学习基线方法，包括 FOCAL 和 COMBO。
• 在高质量数据集的任务中，MerPO 超过 COMBO（一种强大的单任务离线强化学习方法），展现出更优的泛化能力。
• 性能增益归因于通过双正则化器插值实现的元策略探索与行为策略利用之间的有效平衡。
• 实证结果证实，即使行为策略较强，MerPO 也能保持安全的策略改进，避免因分布偏移导致的性能下降。
• 理论分析为正则化器权重的选择提供了设计指导，当元策略正则化器权重适当调整时，可保证正向性能提升。