[论文解读] Floyd-Warshall Reinforcement Learning: Learning from Past Experiences to Reach New Goals

Vikas Dhiman, Shurjo Banerjee+2 more|arXiv (Cornell University)|Sep 25, 2018

Reinforcement Learning in Robotics参考文献 22被引用 10

一句话总结

该论文提出Floyd-Warshall强化学习（FWRL），一种无需模型的强化学习算法，其灵感源自Floyd-Warshall最短路径算法的三角不等式约束，用于学习一种目标条件化的价值函数。通过强制要求任意两个状态之间的最优路径价值不低于通过中间状态的任意间接路径价值，FWRL实现了在动态目标之间的高效经验迁移，在表格型网格世界环境中，其样本效率和渐近性能均优于Q-learning、基于模型的强化学习及基线方法。

ABSTRACT

Consider mutli-goal tasks that involve static environments and dynamic goals. Examples of such tasks, such as goal-directed navigation and pick-and-place in robotics, abound. Two types of Reinforcement Learning (RL) algorithms are used for such tasks: model-free or model-based. Each of these approaches has limitations. Model-free RL struggles to transfer learned information when the goal location changes, but achieves high asymptotic accuracy in single goal tasks. Model-based RL can transfer learned information to new goal locations by retaining the explicitly learned state-dynamics, but is limited by the fact that small errors in modelling these dynamics accumulate over long-term planning. In this work, we improve upon the limitations of model-free RL in multi-goal domains. We do this by adapting the Floyd-Warshall algorithm for RL and call the adaptation Floyd-Warshall RL (FWRL). The proposed algorithm learns a goal-conditioned action-value function by constraining the value of the optimal path between any two states to be greater than or equal to the value of paths via intermediary states. Experimentally, we show that FWRL is more sample-efficient and learns higher reward strategies in multi-goal tasks as compared to Q-learning, model-based RL and other relevant baselines in a tabular domain.

研究动机与目标

• 解决无模型强化学习在多目标任务中跨不同目标位置迁移知识的局限性。
• 通过结构化重用过往轨迹，克服标准Q-learning在动态目标环境中的样本效率低下问题。
• 开发一种方法，能够在不进行显式模型学习或重新训练的情况下，保留并泛化过往经验。
• 提升表格型多目标强化学习任务中的样本效率和渐近性能。

提出的方法

• FWRL引入了一种目标条件化的动作价值函数，记为 $ F_{\pi}^{*}(s'|s,a) $，表示从状态 $ s $ 经行动 $ a $ 到目标状态 $ s' $ 的预期累积奖励。
• 核心创新在于三角不等式约束：$ F_{\pi^{*}_{s_j}}^{*}(s_j|s_i,a_i) \geq F_{\pi^{*}_{s_k}}^{*}(s_k|s_i,a_i) + \max_{a_k} F_{\pi^{*}_{s_j}}^{*}(s_j|s_k,a_k) $，该约束通过中间状态强制实现路径的传递最优性。
• 该约束使算法能够隐式结合并泛化来自多条过往轨迹的信息，即使这些轨迹未成功抵达目标，也能实现对新起始-目标对的迁移。
• FWRL采用类似表格型Q-learning的更新方式，并引入FW约束，通过多轮迭代逐步优化价值函数。
• 该方法在标准网格世界和有风网格世界环境中进行了评估，与Q-learning、目标拼接的Q-learning（QLCAT）以及基于模型的强化学习进行了对比。
• 训练过程中使用经验回放，评估时采用贪婪策略推理，测试阶段不进行探索。

实验结果

研究问题

• RQ1 无模型强化学习算法能否在静态环境中有效实现跨不同目标位置的知识迁移？
• RQ2 强制实施类似Floyd-Warshall的传递最优性约束，如何提升多目标任务中的样本效率和性能表现？
• RQ3 与标准Q-learning相比，FWRL在泛化来自未达目标的过往轨迹方面的能力有多强？
• RQ4 在表格型环境中，FWRL是否在奖励和距离低效性方面均优于无模型和基于模型的基线方法？

主要发现

• 在标准和有风网格世界环境中，FWRL在所有实验中均实现了比Q-learning、QLCAT和基于模型的强化学习更高的平均每回合奖励。
• FWRL表现出显著更低的距离低效性，表明其在复杂或随机环境中能更优地选择路径。
• 在奖励曲线中，FWRL的性能上升速度明显快于所有基线方法，显示出在学习高奖励策略方面具有更优的样本效率。
• 在定性测试中，FWRL成功从另一轮次的新起始状态导航至目标状态，并选择了最短路径，而QLCAT因无法泛化而失败。
• FWRL学习到的价值函数在所有状态上呈现出连贯且目标导向的结构，最优值通过中间状态实现了清晰的传播。
• 在未见过的起始-目标组合中，FWRL优于QLCAT，证明其具备超越训练期间所见特定轨迹的泛化能力。