[论文解读] Align-RUDDER: Learning From Few Demonstrations by Reward Redistribution

Vihang P. Patil, Markus Hofmarcher+6 more|arXiv (Cornell University)|Jan 1, 2020

Reinforcement Learning in Robotics参考文献 83被引用 8

一句话总结

Align-RUDDER 提出了一种强化学习方法，通过使用多序列比对（MSA）构建轮廓模型以实现奖励重分配，从而加速从少量高回报示范中学习。与依赖LSTM等深度网络的先前方法不同，该方法借鉴生物信息学中的比对技术，识别子任务里程碑，显著提升样本效率，并在仅提供极少示范的情况下成功实现《我的世界》中的钻石矿开采。

ABSTRACT

Reinforcement learning algorithms require many samples when solving complex hierarchical tasks with sparse and delayed rewards. For such complex tasks, the recently proposed RUDDER uses reward redistribution to leverage steps in the Q-function that are associated with accomplishing sub-tasks. However, often only few episodes with high rewards are available as demonstrations since current exploration strategies cannot discover them in reasonable time. In this work, we introduce Align-RUDDER, which utilizes a profile model for reward redistribution that is obtained from multiple sequence alignment of demonstrations. Consequently, Align-RUDDER employs reward redistribution effectively and, thereby, drastically improves learning on few demonstrations. Align-RUDDER outperforms competitors on complex artificial tasks with delayed rewards and few demonstrations. On the Minecraft ObtainDiamond task, Align-RUDDER is able to mine a diamond, though not frequently. Code is available at https://github.com/ml-jku/align-rudder. YouTube: https://youtu.be/HO-_8ZUl-UY

研究动机与目标

• 解决在稀疏、延迟奖励环境中因探索能力差，仅能获得少量高回报示范时，强化学习中样本效率低下的挑战。
• 克服 RUDDER 中类似LSTM的深度学习模型在训练中需要大量示范数据才能有效学习的局限性。
• 借鉴生物信息学技术——特别是多序列比对（MSA）——构建轮廓模型，从极少量示范中捕捉子任务结构。
• 通过识别对齐的示范序列中的子任务边界，实现分层强化学习，促进高效的信用分配与奖励塑形。

提出的方法

• 对高回报示范轨迹进行多序列比对（MSA），构建捕捉共现子任务序列的轮廓模型。
• 用基于 MSA 的轮廓模型替代 RUDDER 中基于 LSTM 的奖励重分配模型，以从少量示范中估计 Q 函数的步骤。
• 通过识别轮廓模型预测预期回报发生显著变化的状态-动作对，实现奖励重分配，标志子任务完成。
• 将重分配后的奖励作为内在塑形信号，用于下游强化学习算法（如 PPO）或行为克隆微调。
• 在对齐的子轨迹上使用行为克隆（BC）训练子任务智能体，随后使用重分配后的奖励进行 PPO 微调。
• 在 MineRL 环境中部署最终智能体，通过定期推理和基于目标物品收集情况的模型检查点选择来评估性能。

实验结果

研究问题

• RQ1 能否从少量示范中通过多序列比对构建的轮廓模型，有效识别在复杂、分层任务中稀疏奖励的子任务边界？
• RQ2 用基于 MSA 的轮廓模型替代 RUDDER 中基于 LSTM 的奖励重分配模型，是否能提升少样本模仿与强化学习中的样本效率？
• RQ3 通过 MSA 实现的奖励重分配在多大程度上能提升延迟且稀疏奖励任务（如《我的世界》中获取钻石）的学习速度与最终性能？
• RQ4 当仅有少量高回报示范可用时，Align-RUDDER 与基线方法及 RUDDER 相比，在学习效率和最终性能方面表现如何？

主要发现

• Align-RUDDER 仅使用少量高回报示范，成功实现了在 MineRL ObtainDiamond 环境中挖掘钻石的任务，而标准探索策略无法达成此目标。
• 在人工构建的分层任务中，该方法在稀疏且延迟奖励环境下优于竞争性算法，表现出更快的收敛速度和更高的样本效率。
• 即使示范数据极少，基于 MSA 的轮廓模型仍能有效识别子任务里程碑，实现准确的奖励重分配与信用分配改进。
• 在对齐的子轨迹上使用行为克隆训练，再结合重分配后的奖励进行 PPO 微调，可实现稳健的策略学习，最终智能体在目标物品收集任务中达到高性能。
• 训练最终智能体的计算成本在挑战限制范围内（单个 GPU 节点上仅需 4 天），表明其具备实际可行性。
• 尽管每项实验仅使用 10 个种子，该方法仍实现了显著的性能提升，表明其能从极少量数据中实现强大泛化。