[论文解读] Adaptive Online Planning for Continual Lifelong Learning

Kevin Lü, Igor Mordatch+1 more|arXiv (Cornell University)|Dec 3, 2019

Reinforcement Learning in Robotics参考文献 39被引用 8

一句话总结

本文提出自适应在线规划（AOP），一种混合算法，通过动态结合基于模型的规划与无模型强化学习，在非平稳、无重置的终身学习环境中实现高效、稳健且自适应的控制。通过使用基于价值函数集合的不确定性估计来控制规划频率，AOP在保持高性能的同时降低了计算成本，并能迅速适应未见的世界变化——在动态环境中优于纯强化学习与纯规划基线方法。

ABSTRACT

We study learning control in an online reset-free lifelong learning scenario, where mistakes can compound catastrophically into the future and the underlying dynamics of the environment may change. Traditional model-free policy learning methods have achieved successes in difficult tasks due to their broad flexibility, but struggle in this setting, as they can activate failure modes early in their lifetimes which are difficult to recover from and face performance degradation as dynamics change. On the other hand, model-based planning methods learn and adapt quickly, but require prohibitive levels of computational resources. We present a new algorithm, Adaptive Online Planning (AOP), that achieves strong performance in this setting by combining model-based planning with model-free learning. By approximating the uncertainty of the model-free components and the planner performance, AOP is able to call upon more extensive planning only when necessary, leading to reduced computation times, while still gracefully adapting behaviors in the face of unpredictable changes in the world -- even when traditional RL fails.

研究动机与目标

• 解决在无重置、非平稳环境中持续终身学习的挑战，其中错误会累积，且环境动态不可预测地变化。
• 克服纯无模型强化学习的局限性，后者在分布漂移下表现出适应缓慢和性能退化。
• 在保持对世界变化快速适应能力的同时，降低纯基于模型规划的高计算成本。
• 开发一种智能机制，根据不确定性在规划与学习行为之间切换，实现高效且安全的决策。
• 证明结合无模型经验与自适应规划可显著提升动态控制任务中的性能与鲁棒性。

提出的方法

• 集成真实动力学模型以生成精确的轨迹，实现无需模型学习开销的精准规划。
• 使用价值函数集合估计无模型策略中的不确定性，指导何时调用规划。
• 实现一种切换机制，仅在不确定性较高时激活完整规划，从而在稳定时期减少计算量。
• 制定统一的更新规则，将无模型策略优化与基于模型的规划相结合，实现方法间的无缝插值。
• 利用规划器的性能作为信号，优化无模型策略，将长时域规划经验提炼为高效行为。
• 维持一个连续的在线学习循环，使规划与策略学习在每个时间步均进行，无需episode重置。

实验结果

研究问题

• RQ1 结合基于模型的规划与无模型学习的混合方法，是否能在非平稳、无重置的终身学习环境中实现稳健性能？
• RQ2 如何有效利用无模型组件中的不确定性来控制昂贵的规划计算，同时不牺牲适应能力？
• RQ3 当世界动态发生变化时，无模型策略在多大程度上能维持性能？这种性能退化能否被缓解？
• RQ4 自适应计算——仅在需要时激活规划——是否能显著降低计算成本，同时保持高性能？
• RQ5 与纯无模型强化学习和纯基于模型规划相比，所提方法在适应速度、稳定性与长期性能方面表现如何？

主要发现

• AOP通过随时间减少规划步数显著降低计算量，尤其在重复访问同一任务时表现明显，表明切换机制具有良好的适应性。
• 在Hopper环境中，当目标速度突然改变时，AOP能快速且稳定地适应，而TD3发生灾难性失败，MPC表现出混沌行为。
• 在非平稳环境中，AOP优于PPO与TD3，即使在世界动态变化时仍能保持高性能，而后者随时间性能持续下降。
• 使用价值函数集合进行不确定性估计，可实现准确可靠的规划触发，从而实现高效计算。
• AOP的性能可与计算成本高得多的MPC基线相媲美，证明自适应规划能以远低于高保真规划的成本实现相似效果。
• 该方法对传统意义上的灾难性遗忘具有鲁棒性，因其不依赖经验回放或任务特定记忆，而是通过不确定性感知规划动态适应新动态。