[论文解读] Finetuning from Offline Reinforcement Learning: Challenges, Trade-offs and Practical Solutions

Yicheng Luo, Jackie Kay+2 more|arXiv (Cornell University)|Mar 30, 2023

Reinforcement Learning in Robotics被引用 4

一句话总结

本文研究使用在线off-policy算法微调预训练的离线强化学习（RL）策略，识别出‘策略坍塌’——即在早期在线训练期间出现严重性能下降——作为关键挑战。本文提出保守TD3（TD3-C），一种受约束的策略优化方法，通过缓解值函数学习中的过估计误差来稳定微调过程，实现比标准离线RL微调更快且更可靠的性能提升。

ABSTRACT

Offline reinforcement learning (RL) allows for the training of competent agents from offline datasets without any interaction with the environment. Online finetuning of such offline models can further improve performance. But how should we ideally finetune agents obtained from offline RL training? While offline RL algorithms can in principle be used for finetuning, in practice, their online performance improves slowly. In contrast, we show that it is possible to use standard online off-policy algorithms for faster improvement. However, we find this approach may suffer from policy collapse, where the policy undergoes severe performance deterioration during initial online learning. We investigate the issue of policy collapse and how it relates to data diversity, algorithm choices and online replay distribution. Based on these insights, we propose a conservative policy optimization procedure that can achieve stable and sample-efficient online learning from offline pretraining.

研究动机与目标

• 研究使用在线RL算法微调离线RL策略所面临的挑战与权衡。
• 识别在线微调期间策略坍塌的根本原因，特别是与数据分布和算法选择相关的因素。
• 提出一种实用、稳定且样本高效的在线微调方法，优于标准的离线RL微调方法。
• 提供有效的离线预训练微调经验指南，强调数据多样性与算法约束的重要性。

提出的方法

• 提出保守TD3（TD3-C），即在TD3基础上引入保守正则化项，以防止在线微调过程中值函数学习的过估计。
• 采用混合回放缓冲区，初始时包含离线过渡数据，并在训练过程中持续更新在线经验，以平衡分布偏移与数据效率。
• 采用受约束的策略更新机制，限制策略相对于离线预训练策略的偏离程度，从而降低早期在线学习阶段的不稳定性。
• 在标准离线与在线RL基准上评估该方法，与标准TD3、TD3-BC及离线RL微调基线进行对比。
• 分析在线回放缓冲区分布与数据多样性对策略坍塌的影响，结果表明固定且非自适应的回放会加剧不稳定性。
• 引入系统性消融研究，以分离分析算法选择、回放策略与预训练数据质量对微调性能的影响。

实验结果

研究问题

• RQ1 为何使用标准off-policy RL算法（如TD3）进行在线微调时，尽管最终性能更优，却仍会出现严重的性能下降（即策略坍塌）？
• RQ2 离线数据集中的数据多样性与分布如何影响在线微调的稳定性与效率？
• RQ3 保守策略优化能否提升从离线预训练进行在线微调的稳定性？其与专为离线RL设计的约束方法相比表现如何？
• RQ4 从离线RL微调中，稳定性和性能提升之间的关键权衡是什么？评估协议如何影响观察到的结果？

主要发现

• 使用标准在线off-policy算法（如TD3）进行微调，其性能提升速度优于使用离线RL算法进行微调，但因在固定初始回放缓冲区上存在过估计误差，易引发策略坍塌。
• 当在线回放缓冲区初始时使用离线数据且在早期训练中保持不变时，策略坍塌现象会进一步加剧，导致反馈信号质量差与优化不稳定性。
• 所提出的保守TD3（TD3-C）方法通过应用保守正则化项减少过估计，从而稳定了在线微调过程，实现无坍塌的一致性能提升。
• 在包含次优过渡的多样化离线数据集上进行预训练，可提升策略与评论家的鲁棒性，从而实现更稳定且高效的在线微调。
• 仅使用少量在线样本的评估协议更倾向于选择稳定但效率较低的算法，凸显了微调中稳定性与性能提升之间的关键权衡。
• 简单的改进措施，如使用在线off-policy算法进行微调，以及将在线回放缓冲区初始时用离线数据填充，即可实现与更复杂算法改进相当的性能增益，提示未来工作应将其作为基线方法。