[论文解读] Learning Deep Stochastic Optimal Control Policies using Forward-Backward SDEs

Marcus A. Pereira, Ziyi Wang+2 more|arXiv (Cornell University)|Feb 11, 2019

Model Reduction and Neural Networks参考文献 40被引用 25

一句话总结

该论文提出了一种基于前向-后向随机微分方程（FBSDEs）的深度学习框架，用于随机最优控制，利用LSTM网络建模时间依赖性，并通过Girsanov定理实现高效探索。与全连接网络相比，该方法在控制约束条件下实现了更平滑、更具可扩展性的控制策略，在摆锤、小车-摆杆和四旋翼飞行器的仿真中表现更优。

ABSTRACT

In this paper we propose a new methodology for decision-making under uncertainty using recent advancements in the areas of nonlinear stochastic optimal control theory, applied mathematics, and machine learning. Grounded on the fundamental relation between certain nonlinear partial differential equations and forward-backward stochastic differential equations, we develop a control framework that is scalable and applicable to general classes of stochastic systems and decision-making problem formulations in robotics and autonomy. The proposed deep neural network architectures for stochastic control consist of recurrent and fully connected layers. The performance and scalability of the aforementioned algorithm are investigated in three non-linear systems in simulation with and without control constraints. We conclude with a discussion on future directions and their implications to robotics.

研究动机与目标

• 开发一种可扩展的、可微分的框架，用于在不确定性下对非线性系统进行随机最优控制。
• 克服高维随机控制中传统动态规划方法的维数灾难及其局限性。
• 通过在FBSDE-based控制中用循环LSTM替代独立的全连接网络，提升控制策略的平滑性、训练效率和可扩展性。
• 将框架扩展以处理控制约束，这在实际机器人应用中至关重要。
• 在具有真实执行器限制的复杂系统（如摆锤、小车-摆杆和四旋翼飞行器）上展示方法的可扩展性和性能。

提出的方法

• 使用前向-后向随机微分方程（FBSDEs）重新表述随机最优控制的Hamilton-Jacobi-Bellman（HJB）方程。
• 应用Girsanov定理重新加权轨迹，通过修改前向SDE中的漂移项，实现高效探索。
• 采用长短期记忆（LSTM）网络学习控制策略中的时间依赖性，替代每个时间步独立的全连接网络。
• 使用基于深度学习的算法，通过神经网络估计条件期望，近似求解后向SDE。
• 实现一种可微分架构，通过端到端反向传播联合优化控制策略和价值函数。
• 通过在策略学习过程中引入控制输入的盒式约束，将框架扩展以处理控制约束。

实验结果

研究问题

• RQ1 能否使用具有循环结构的深度神经网络有效学习基于FBSDE的随机最优控制？
• RQ2 与全连接层相比，使用LSTM如何提升随机控制中控制策略的平滑性、训练效率和可扩展性？
• RQ3 在不依赖控制与噪声之间严格假设的前提下，Girsanov定理在基于FBSDE的控制中能在多大程度上增强探索能力？
• RQ4 与全连接网络相比，该方法在具有控制约束的高维非线性系统中的表现如何？
• RQ5 该框架能否扩展至具有非仿射控制动态或Lévy型噪声的系统？

主要发现

• 在所有任务中，LSTM策略的训练时间至少减少了20%，且参数量显著少于全连接网络。
• 使用LSTM学习的控制策略产生了更平滑的控制轨迹，避免了全连接网络在约束条件下出现的尖刺状、锯齿形控制。
• LSTM策略在摆锤和小车-摆杆任务中成功完成摆起，方差更低，对动量的处理更优，尤其在无约束设置下表现更佳。
• 在2秒时域的四旋翼飞行器任务中，基于全连接网络的策略需要100个独立网络，调参困难；而基于LSTM的策略通过共享权重和更快的图构建实现了高效扩展。
• 在四旋翼飞行器任务中，LSTM策略在跟踪目标位置和姿态方面优于全连接策略，尤其在Z轴和偏航状态上表现更优，归因于其更优的长期时间建模能力。
• 该框架在所有三个系统中均成功处理了控制约束，LSTM策略即使在扭矩限制下也能保持平滑的控制输入，而全连接策略则无法做到。