[论文解读] Bootstrapped Transformer for Offline Reinforcement Learning

Kerong Wang, Hanye Zhao+4 more|arXiv (Cornell University)|Jun 17, 2022

Reinforcement Learning in Robotics被引用 13

一句话总结

本文提出了一种名为自举Transformer（BooT）的新颖离线强化学习方法，该方法利用预训练的Transformer模型自动生成高置信度的合成轨迹，并通过自举循环用这些轨迹对模型进行微调。该方法通过提升数据覆盖度和分布一致性，在D4RL基准测试中显著优于强基线模型，且无需额外的保守性设计或环境建模。

ABSTRACT

Offline reinforcement learning (RL) aims at learning policies from previously collected static trajectory data without interacting with the real environment. Recent works provide a novel perspective by viewing offline RL as a generic sequence generation problem, adopting sequence models such as Transformer architecture to model distributions over trajectories, and repurposing beam search as a planning algorithm. However, the training datasets utilized in general offline RL tasks are quite limited and often suffer from insufficient distribution coverage, which could be harmful to training sequence generation models yet has not drawn enough attention in the previous works. In this paper, we propose a novel algorithm named Bootstrapped Transformer, which incorporates the idea of bootstrapping and leverages the learned model to self-generate more offline data to further boost the sequence model training. We conduct extensive experiments on two offline RL benchmarks and demonstrate that our model can largely remedy the existing offline RL training limitations and beat other strong baseline methods. We also analyze the generated pseudo data and the revealed characteristics may shed some light on offline RL training. The codes are available at https://seqml.github.io/bootorl.

研究动机与目标

• 为解决离线强化学习中数据覆盖不足和数据集规模有限的问题，这些问题会阻碍序列模型的有效训练。
• 开发一种方法，以增强分布覆盖度和模型泛化能力，而无需依赖外部数据增强或环境动力学建模。
• 探究是否可通过迭代自举方式，利用训练好的序列模型生成的轨迹有效提升策略性能。
• 评估不同生成与自举策略对模型性能和训练稳定性的影响。

提出的方法

• 该方法使用预训练的Transformer来建模离线轨迹中状态-动作-奖励序列的联合分布，将这些序列视为自回归标记序列。
• 采用两种方案生成新轨迹：自回归生成和基于教师强制的生成，两者均基于学习到的模型进行条件生成。
• 根据序列似然度筛选高置信度的生成轨迹，并在自举循环中用于重新训练模型。
• 评估了两种自举策略：一次性在生成数据上微调，以及在多个训练周期中重复使用生成数据。
• 该方法通过利用模型自身学习到的分布来生成一致且合理的轨迹，避免了外部数据增强或动力学建模。
• 对超参数（如自举启动阈值、生成比例和序列长度）进行消融实验以优化性能。

实验结果

研究问题

• RQ1 在数据稀缺场景下，能否通过预训练序列模型生成的轨迹有效提升离线强化学习性能？
• RQ2 不同的生成策略（自回归与教师强制）如何影响生成轨迹的质量与实用性？
• RQ3 在训练轮次和数据比例方面，自举的最佳时机与规模为何？
• RQ4 与随机或噪声增强相比，使用高置信度生成数据是否能减少分布偏移并提升泛化能力？

主要发现

• BooT在D4RL离线强化学习基准上达到最先进性能，显著优于强基线模型如TD3+BC和SAC。
• 该方法在多个环境中表现出鲁棒性，尤其在Gym领域表现突出，性能接近在线强化学习基线。
• 消融实验表明，过早或过晚启动自举均会降低性能，最优阈值约为训练轮次的20%。
• 生成比例（η%）对性能具有非单调影响，峰值出现在中等值，表明数据数量与质量之间存在权衡。
• 使用序列长度T′ = 1进行生成可获得最佳结果，表明短而高置信度的序列在自举中最为有效。
• 在生成数据上进行损失加权微调优于随机微调，但BooT仍优于这些增强基线，证实其自举机制的优越性。