[论文解读] Forward-Backward Reinforcement Learning

Ashley D. Edwards, Laura Downs+1 more|arXiv (Cornell University)|Mar 27, 2018

Reinforcement Learning in Robotics参考文献 12被引用 20

一句话总结

本文提出前向-后向强化学习（FBRL），一种通过训练后向动力学模型从目标状态想象轨迹，使智能体能够反向推理并更有效地传播奖励，从而在稀疏奖励环境中加速学习的方法。FBRL 在 Gridworld 和 Towers of Hanoi 任务中均优于标准 DDQN，尤其在高时域任务中表现更优，通过引入引导的反向 rollout 提升了样本效率和价值函数泛化能力。

ABSTRACT

Goals for reinforcement learning problems are typically defined through hand-specified rewards. To design such problems, developers of learning algorithms must inherently be aware of what the task goals are, yet we often require agents to discover them on their own without any supervision beyond these sparse rewards. While much of the power of reinforcement learning derives from the concept that agents can learn with little guidance, this requirement greatly burdens the training process. If we relax this one restriction and endow the agent with knowledge of the reward function, and in particular of the goal, we can leverage backwards induction to accelerate training. To achieve this, we propose training a model to learn to take imagined reversal steps from known goal states. Rather than training an agent exclusively to determine how to reach a goal while moving forwards in time, our approach travels backwards to jointly predict how we got there. We evaluate our work in Gridworld and Towers of Hanoi and empirically demonstrate that it yields better performance than standard DDQN.

研究动机与目标

• 为解决在稀疏奖励强化学习中样本效率低下的问题，即智能体难以通过随机探索发现目标状态。
• 探究是否可通过利用目标状态的知识，使智能体能够从目标反向推理，从而加速学习。
• 开发一种结合前向与后向想象的方法，以改善价值函数学习和策略的样本效率。
• 通过实证验证，后向想象是否能带来比标准无模型强化学习更快的收敛速度和更优的性能表现，尤其是在具有挑战性的稀疏奖励环境中。

提出的方法

• FBRL 引入一个学习得到的后向动力学模型，可从已知的目标状态反向预测状态变化，使智能体能够模拟后向轨迹。
• 后向模型被训练以反向预测动作引起的态变，例如在 Gridworld 中预测 Δx 和 Δy，或在 Towers of Hanoi 中预测位翻转变化。
• 该方法将后向想象整合进 DDQN 框架中，利用想象的后向经验与真实经验共同更新 Q 值。
• 采用双流训练流程，交替进行从起始状态的前向 rollout 和从目标状态的后向 rollout，经验回放同时存储真实和想象的转移。
• 后向模型通过最小化预测与实际反向状态转移之间差异的损失进行更新，确保其与环境真实动力学保持一致。
• 该方法采用异步 rollout（如 Gridworld 中 10 步，Towers of Hanoi 中 5 步）生成多样化的后向轨迹，用于价值函数 bootstrapping。

实验结果

研究问题

• RQ1 从已知目标状态进行后向想象，是否能提升稀疏奖励强化学习中的样本效率？
• RQ2 在高时域任务中，结合前向与后向 rollout 是否能带来比标准无模型强化学习更快的收敛速度？
• RQ3 在任务复杂度和稀疏性逐渐增加的环境中，FBRL 与 DDQN 的性能表现如何比较？
• RQ4 后向想象对部分可观察或结构化环境中价值函数泛化与策略学习有何影响？

主要发现

• 在 Gridworld 中，FBRL 显著优于标准 DDQN，且随着网格尺寸从 5×5 增大到 20×20，性能差距进一步扩大，表明其在高时域任务中具有更优的可扩展性。
• 在 Towers of Hanoi 中，FBRL 的学习性能优于 DDQN，尤其在更多圆盘（n=3）时表现更优，证明其在组合性、结构化环境中的有效性。
• 在短时域任务中，该方法未出现性能下降，表明后向想象不会干扰标准学习动态。
• 在 3 圆盘 Towers of Hanoi 中，FBRL 性能略有下降，可能由于后向模型过拟合，提示其对模型容量和泛化能力较为敏感。
• 后向模型早期成功捕捉了局部动力学，并逐渐学习到全局约束（如墙壁位置），从而随时间推移提升了价值函数的准确性。
• 后向想象的整合带来了更快的收敛速度和更稳定的训练曲线，尤其在稀疏奖励使探索困难的环境中表现显著。