[论文解读] Combating the Compounding-Error Problem with a Multi-step Model

Kavosh Asadi, Dipendra Misra+2 more|arXiv (Cornell University)|May 30, 2019

Software Reliability and Analysis Research参考文献 64被引用 27

一句话总结

本文提出了一种基于模型的强化学习多步模型（M³），该模型直接预测执行动作序列后的结果，避免了一步模型固有的误差累积问题。通过消除对中间、可能不真实的状杰预测的依赖，M³在背景规划和决策时间规划中均实现了更精确的价值估计和更优的动作选择，实证结果表明其性能优于一步模型。

ABSTRACT

Model-based reinforcement learning is an appealing framework for creating agents that learn, plan, and act in sequential environments. Model-based algorithms typically involve learning a transition model that takes a state and an action and outputs the next state---a one-step model. This model can be composed with itself to enable predicting multiple steps into the future, but one-step prediction errors can get magnified, leading to unacceptable inaccuracy. This compounding-error problem plagues planning and undermines model-based reinforcement learning. In this paper, we address the compounding-error problem by introducing a multi-step model that directly outputs the outcome of executing a sequence of actions. Novel theoretical and empirical results indicate that the multi-step model is more conducive to efficient value-function estimation, and it yields better action selection compared to the one-step model. These results make a strong case for using multi-step models in the context of model-based reinforcement learning.

研究动机与目标

• 为解决基于模型的强化学习中一步模型误差随时间累积的问题。
• 通过避免使用虚假或不现实的中间状态，提高规划中价值函数估计和动作选择的准确性。
• 开发一种可直接预测执行动作序列结果的模型，而非组合一步转移。
• 通过实证结果证明，多步模型在背景规划和决策时间规划中均优于传统的一部模型。
• 利用Rademacher复杂度，为多步方法在样本效率和泛化能力方面的优势提供理论依据。

提出的方法

• 提出一种多步模型M³，将状态和动作序列直接映射到执行完整序列后的结果状态。
• 使用EM算法从状态-动作-下一状态三元组数据集中学习多步模型，其中隐变量表示中间步骤。
• 采用一种新颖的滚动规划方法，所有步骤均以原始初始状态作为起点，避免因虚假输入导致的误差传播。
• 采用概率建模方法，使用高斯分布表示转移可能性，参数通过最大似然估计学习。
• 引入集成扩展方法，通过对多个不同的多步路径预测结果取平均，提升模型的鲁棒性和准确性。
• 采用Rademacher复杂度对多步模型的学习难度进行理论分析，表明其学习复杂度低于一步模型，更具优势。

实验结果

研究问题

• RQ1 通过避免使用可能无效的中间状态预测，多步模型能否有效缓解基于模型的强化学习中的误差累积问题？
• RQ2 在规划过程中，多步模型在价值函数估计和动作选择方面的性能与一步模型相比如何？
• RQ3 从Rademacher复杂度的角度衡量，学习多步模型在泛化能力和样本效率方面有何理论优势？
• RQ4 与单个多步模型相比，多步模型的集成是否能进一步提升预测准确性和鲁棒性？
• RQ5 所提出的M³框架在背景规划和决策时间规划中是否均优于标准的一部模型基线？

主要发现

• 在mini-Pacman网格世界环境中，多步模型M³相比一步模型显著降低了预测误差，尤其在较长规划时域下表现更优。
• 在动作选择的树搜索中，EM学习的多步模型优于确定性和一步模型，成功到达目标的概率更高。
• 在mini-Pacman领域中，M³模型近乎完美地学习了两步动力学，预测的状态分布与真实分布高度吻合。
• 在Acrobot环境中，对多条多步路径的预测结果进行集成平均，显著提升了8步预测的准确性，优于单个M³模型和迭代的一部模型。
• 基于Rademacher复杂度的理论分析表明，学习多步模型的复杂度更低，泛化能力更强，优于学习一步模型。
• 在Acrobot环境中，模型性能随时间推移持续提升，经历的状态多样性逐渐增加，表明学习过程稳定且具备适应能力。