[论文解读] Decoupled Prioritized Resampling for Offline RL

Yue Yang, Bingyi Kang+5 more|arXiv (Cornell University)|Jun 8, 2023

Mental Health Research TopicsPsychology被引用 3

一句话总结

本文提出离线解耦优先重采样（ODPR），一种即插即用的方法，通过基于动作质量的优先重采样迭代优化行为策略，提升离线强化学习性能。通过为高优势动作分配更高权重，ODPR生成更优的行为策略，使受限的离线RL算法性能更优，在D4RL基准上对五种最先进算法均有显著提升，包括无轨迹信息的设置。

ABSTRACT

Offline reinforcement learning (RL) is challenged by the distributional shift problem. To address this problem, existing works mainly focus on designing sophisticated policy constraints between the learned policy and the behavior policy. However, these constraints are applied equally to well-performing and inferior actions through uniform sampling, which might negatively affect the learned policy. To alleviate this issue, we propose Offline Prioritized Experience Replay (OPER), featuring a class of priority functions designed to prioritize highly-rewarding transitions, making them more frequently visited during training. Through theoretical analysis, we show that this class of priority functions induce an improved behavior policy, and when constrained to this improved policy, a policy-constrained offline RL algorithm is likely to yield a better solution. We develop two practical strategies to obtain priority weights by estimating advantages based on a fitted value network (OPER-A) or utilizing trajectory returns (OPER-R) for quick computation. OPER is a plug-and-play component for offline RL algorithms. As case studies, we evaluate OPER on five different algorithms, including BC, TD3+BC, Onestep RL, CQL, and IQL. Extensive experiments demonstrate that both OPER-A and OPER-R significantly improve the performance for all baseline methods. Codes and priority weights are availiable at https://github.com/sail-sg/OPER.

研究动机与目标

• 解决因策略约束对优质与劣质动作同等对待而导致的离线RL性能下降问题。
• 通过基于数据重采样的高质动作优先策略改进离线RL中的行为策略，而非依赖均匀约束。
• 设计一种与现有离线RL算法兼容的方法，即使在缺乏轨迹信息时也有效。
• 从理论和实证上验证优先重采样可带来可证明改进的行为策略，从而提升下游策略学习性能。
• 提供两种实用实现——ODPR-A（基于优势）和ODPR-R（基于回报），在性能与计算效率之间取得平衡。

提出的方法

• ODPR引入一种解耦重采样策略，基于归一化动作优势对转移样本重新加权，优先选择高质量动作。
• 优先级函数使用单步TD误差（ODPR-A）或轨迹回报（ODPR-R）定义，支持灵活高效的实现。
• 通过使用优先级权重对数据集进行迭代重采样，逐步优化行为策略，生成更优的数据集 $\mathcal{D}^K$ 用于训练。
• 将优化后的数据集作为标准策略约束型离线RL算法（如BC、TD3+BC、CQL、IQL、Onestep RL）的输入。
• 同时提供重采样与重加权两种实现方式，其在期望损失上具有理论等价性，确保实现选择的鲁棒性。
• 引入缩放超参数 $\sigma$ 用于ODPR-A，以增加优先级权重的方差，确保有效优先化。

Figure 1: (a) Prioritized resampling . Given a state, possible actions are ranked by quality in x-axis. A behavior policy (in blue) usually follows a multi-modal distribution. A prioritized policy (in red) is acquired by prioritized resampling which assigns higher weights to better actions. (b) Offl

实验结果

研究问题

• RQ1 能否通过基于动作质量的优先重采样来改进离线RL性能？
• RQ2 解耦优先重采样是否能带来可证明优于原始数据集的行为策略？
• RQ3 ODPR是否能在不修改网络架构的前提下，提升多种离线RL算法的性能？
• RQ4 在缺乏轨迹信息的数据集中，ODPR是否依然有效，而传统基于轨迹的方法会失效？
• RQ5 重采样与重加权两种实现方式的选择是否会影响ODPR的性能？

主要发现

• ODPR-A与ODPR-R在D4RL基准上显著提升五种离线RL算法（BC、TD3+BC、Onestep RL、CQL、IQL）的性能，运动类任务平均提升10%-20%。
• ODPR-A在Mujoco-v2上总得分为734.1 ± 10.4，优于原始TD3+BC（689.5 ± 11.2），即使在无轨迹数据时仍能提升性能。
• 在行为多样性较低的随机数据集中，ODPR改善有限，证实其增益源于对已有行为方差的有效利用。
• ODPR-A中的超参数 $\sigma$ 至关重要：当 $\sigma = 2.0$ 时，总得分从229.5提升至284.2；未启用缩放则导致性能欠佳。
• 在大多数任务中，重采样与重加权结果相近，但重加权在Pen任务中因优先级权重极端而失效，表明在回报分布方差较大时实现方式具有敏感性。
• ODPR-R在Kitchen任务上实现平均10.5%的性能提升，在Adroit任务上达12.5%，证明其在复杂、高维环境中的有效性。

Figure 2: A subset of tasks pertinent to real-world applications from the D4RL benchmark [ 29 ] , including Mujoco locmotion tasks with bipeds or quadrupeds, Maze navigation tasks with an 8-DoF Ant quadruped robot, Kitchen tasks with a 9-DoF Franka robot, and Adroit tasks with a 24-DoF Hand robot 2