[论文解读] Advantages and Limitations of using Successor Features for Transfer in Reinforcement Learning

Lucas Lehnert, Stefanie Tellex+1 more|arXiv (Cornell University)|Jul 31, 2017

Reinforcement Learning in Robotics参考文献 8被引用 39

一句话总结

本文评估了在强化学习中使用后续特征（Successor Features, SFs）进行迁移学习的效果，表明当奖励函数发生微小变化时，SFs 能够实现快速适应，但当最优策略存在显著差异时则失效，原因在于其策略依赖的表征方式。主要贡献在于识别出 SFs 不适用于最优策略差异较大的任务之间的迁移，尽管其在相似环境中的表现成功。

ABSTRACT

One question central to Reinforcement Learning is how to learn a feature representation that supports algorithm scaling and re-use of learned information from different tasks. Successor Features approach this problem by learning a feature representation that satisfies a temporal constraint. We present an implementation of an approach that decouples the feature representation from the reward function, making it suitable for transferring knowledge between domains. We then assess the advantages and limitations of using Successor Features for transfer.

研究动机与目标

• 研究后续特征（SFs）是否能够实现在奖励函数不同的不同强化学习任务之间有效迁移知识。
• 评估当在仅奖励结构不同的马尔可夫决策过程（MDPs）之间迁移时，SF 表征的可扩展性与可重用性。
• 识别 SF 在迁移学习中的根本局限性，特别是当任务间最优策略发生变化时。
• 评估在最优策略发生微小与显著变化的环境中，基于 SF 的迁移性能。

提出的方法

• 通过学习一种不依赖于奖励函数的后续特征（SF）表征，将特征表示与奖励函数解耦。
• 采用线性函数逼近方法，将 Q 值表示为 SF 向量与代表奖励函数的权重向量的点积。
• 通过时间差分更新学习 SF 表征，确保其在给定策略下与未来 SF 保持一致性。
• 利用贝尔曼方程迭代更新 SF 估计值，确保其反映长期的状态-动作访问模式。
• 实验比较了在最优策略发生微小或显著变化的环境中，SF 迁移性能的差异，包括网格世界与水池世界（Puddle World）的变体。
• 采用策略退火策略（ε 从 1.0 降低至 0.1），以平滑奖励函数之间的过渡并改善收敛性。

实验结果

研究问题

• RQ1 后续特征能否实现在仅奖励函数不同的 MDP 之间快速迁移知识？
• RQ2 基于 SF 的迁移性能在多大程度上依赖于任务间最优策略的变化？
• RQ3 SF 损失目标在训练过程中为何出现振荡？这反映了怎样的学习动态？
• RQ4 在最优策略不同的任务之间，SF 表征在多大程度上可以被重用？
• RQ5 当最优策略发生显著变化时，使用 SF 进行迁移是否存在根本性限制？

主要发现

• 当最优策略在任务间保持相似时，基于 SF 的迁移显著加速了学习，这在奖励变化微小的实验中得到验证。
• 即使在快速恢复近似最优策略的情况下，SF 损失目标在训练过程中仍出现振荡，表明表征学习过程存在不稳定性。
• 当最优策略发生剧烈变化时（例如目标位置被移动到不同角落），SF 表征无法实现迁移，反而作为较差的初始化出现。
• SF 表征本质上依赖于训练期间使用的策略，因此不适用于最优策略不同的任务之间的迁移。
• 在 Puddle World 等奖励变化较小的环境中，SF 迁移显著提升了性能，证实了其在策略稳定条件下的有效性。
• 研究结论认为，尽管 SF 在相似任务中具有强大的迁移能力，但其策略依赖性限制了其在最优策略差异较大的任务中的泛化能力。