[论文解读] MPC-Inspired Neural Network Policies for Sequential Decision Making

Marcus A. Pereira, David D. Fan+2 more|arXiv (Cornell University)|Feb 15, 2018

Reinforcement Learning in Robotics参考文献 11被引用 30

一句话总结

该论文提出了一种受MPC启发的神经网络策略，即PI-Nets，用于连续状态和动作空间中的序列决策。通过将DAgger算法扩展以处理迭代控制序列优化，该方法实现了高效、可扩展的规划感知策略训练，这些策略对扰动和模型误差具有鲁棒的泛化能力，在基准任务中优于反应式策略和标准循环策略。

ABSTRACT

In this paper we investigate the use of MPC-inspired neural network policies for sequential decision making. We introduce an extension to the DAgger algorithm for training such policies and show how they have improved training performance and generalization capabilities. We take advantage of this extension to show scalable and efficient training of complex planning policy architectures in continuous state and action spaces. We provide an extensive comparison of neural network policies by considering feed forward policies, recurrent policies, and recurrent policies with planning structure inspired by the Path Integral control framework. Our results suggest that MPC-type recurrent policies have better robustness to disturbances and modeling error.

研究动机与目标

• 解决序列决策中连续状态和动作空间缺乏可扩展、可泛化的规划策略的问题。
• 提高复杂规划架构（如PI-Nets）的样本效率和训练可扩展性。
• 增强对扰动、建模误差以及动力学和初始条件分布偏移的鲁棒性。
• 通过使用MPC专家的模仿学习实现规划策略的端到端训练。
• 证明MPC型循环策略在连续控制任务中优于反应式和非MPC循环策略。

提出的方法

• 将DAgger算法扩展用于训练MPC启发策略，通过在每个时间步从MPC专家收集控制动作序列。
• 采用一种循环神经网络架构，迭代重新优化有限时域控制序列，模仿模型预测控制（MPC）。
• 基于路径积分（PI）控制框架构建可微分规划器，实现通过轨迹的端到端反向传播。
• 通过在时间步之间对控制序列进行热启动，降低计算负担并提高优化收敛性。
• 使用包含完整控制序列（而非仅动作）的专家演示进行模仿学习训练策略。
• 通过高效的序列处理与优化，将时间和内存需求降低了50倍，相比先前工作。

实验结果

研究问题

• RQ1 与反应式或标准循环策略相比，受MPC启发的循环策略是否能在连续控制任务中提升泛化能力和鲁棒性？
• RQ2 将DAgger算法扩展以处理控制序列，是否能够实现复杂规划策略的可扩展且高效的训练？
• RQ3 PI-Nets作为MPC型规划器，在不同系统动力学、噪声和初始条件下表现如何？
• RQ4 在连续空间中，能否高效实现可微分规划模块的端到端训练？
• RQ5 在连续控制基准测试中，前馈、循环和MPC结构策略的相对性能如何？

主要发现

• PI-Nets在Ant和Half-Cheetah任务中均实现了100%的成功率，无论在成功率还是平均损失方面均优于所有其他策略。
• 在Cart-Pole任务中，PI-Nets实现了99.0%的成功率，平均损失为1±2，显著优于反应式FNN和标准RNN策略。
• 通过MPC-DAgger训练的策略对初始条件扰动、噪声和系统动力学变化表现出稳健的泛化能力，而监督学习基线方法则完全失败。
• MPC型策略（PI-Net）表现出更优的鲁棒性，即使在初始状态分布扩大时，轨迹仍能正确收敛，而脆弱的反应式策略则无法做到。
• 与先前方法相比，使用所提出的DAgger扩展将训练的时间和内存需求降低了50倍，实现了复杂规划架构的可扩展训练。
• PI-Nets在模型误差和扰动下泛化能力优于非MPC循环策略，证实了迭代重优化可增强鲁棒性的假设。