[论文解读] Beyond Fine-Tuning: Transferring Behavior in Reinforcement Learning

Víctor Campos, Pablo Sprechmann+6 more|arXiv (Cornell University)|Feb 24, 2021

Reinforcement Learning in Robotics参考文献 59被引用 12

一句话总结

本文提出行为迁移（BT），一种利用预训练策略（通过无奖励环境中的内在好奇心NGU训练）进行结构化探索的强化学习方法。BT通过将预训练策略作为探索策略和伪动作，与权重微调互补，在蒙特祖马的复仇和防卫者等复杂环境中表现更优，尤其当预训练行为与任务不匹配时效果显著。

ABSTRACT

Designing agents that acquire knowledge autonomously and use it to solve new tasks efficiently is an important challenge in reinforcement learning. Knowledge acquired during an unsupervised pre-training phase is often transferred by fine-tuning neural network weights once rewards are exposed, as is common practice in supervised domains. Given the nature of the reinforcement learning problem, we argue that standard fine-tuning strategies alone are not enough for efficient transfer in challenging domains. We introduce Behavior Transfer (BT), a technique that leverages pre-trained policies for exploration and that is complementary to transferring neural network weights. Our experiments show that, when combined with large-scale pre-training in the absence of rewards, existing intrinsic motivation objectives can lead to the emergence of complex behaviors. These pre-trained policies can then be leveraged by BT to discover better solutions than without pre-training, and combining BT with standard fine-tuning strategies results in additional benefits. The largest gains are generally observed in domains requiring structured exploration, including settings where the behavior of the pre-trained policies is misaligned with the downstream task.

研究动机与目标

• 解决预训练后下游强化学习任务中无结构探索的低效问题。
• 通过在微调过程中保留预训练行为，缓解策略迁移中的灾难性遗忘。
• 在需要结构化、长时程探索的环境中实现更有效的迁移。
• 证明预训练行为可独立于神经网络权重被利用，以提升样本效率。
• 探究行为迁移与权重微调在具有挑战性的强化学习基准中的互补性。

提出的方法

• 在无奖励环境中使用‘永不放弃’（NGU）内在奖励目标预训练策略，以学习复杂且具有探索性的行为。
• 将预训练策略作为时间上延展的探索策略使用：在训练过程中随机激活该策略持续若干步。
• 将预训练策略引入智能体的动作空间作为伪动作，使智能体可将动作选择权暂时交由该策略处理。
• 将BT与标准权重微调结合，使用预训练编码器权重初始化神经网络。
• 应用基于off-policy的学习算法（如R2D2）以利用通过BT和预训练行为收集的经验。
• 在奖励稀疏性与预训练行为任务对齐程度各异的多种Atari环境中评估BT。

实验结果

研究问题

• RQ1 能否有效重用无奖励训练的预训练策略，用于下游强化学习任务的探索？
• RQ2 当预训练行为与下游任务不匹配时，行为迁移（BT）是否优于标准微调？
• RQ3 在多样化环境中，BT与微调在样本效率和最终性能方面有何差异？
• RQ4 在复杂且稀疏奖励的环境中，BT与权重微调在多大程度上提供互补优势？
• RQ5 如NGU等内在好奇心目标能否生成可实现有效迁移的预训练策略，且无需奖励监督？

主要发现

• 在蒙特祖马的复仇和防卫者等环境中，BT显著优于标准微调，最终得分分别为13,265.91 ± 372.02和566,938.61 ± 2,428.52，尤其在预训练行为与任务不匹配时优势明显。
• 在Ms. Pac-Man的稀疏奖励变体（困难）中，BT取得7,868 ± 1,085的得分，优于R2D2（2,836 ± 26）和微调NGU（1,891 ± 1,342）。
• 在奖励具有欺骗性的Hero环境中，BT取得3,547 ± 122的得分，超过R2D2（2,677 ± 23）和微调NGU（700 ± 0）。
• 将BT与完整权重初始化结合可获得最高性能，BT(π_NGU)在‘Up N Down’中达到582,923.55 ± 2,849.01，优于仅微调的562,739.02 ± 8,527.59。
• 即使预训练策略在下游任务中表现较差（如某些变体中得分为负），BT仍能保持高性能，表明其对行为不匹配具有强鲁棒性。
• 消融实验表明，飞行式探索与伪动作使用均对性能有独立贡献，二者结合在多数游戏中取得最佳结果。