[论文解读] Deep learning method for solving stochastic optimal control problem via stochastic maximum principle.

Shaolin Ji, Shigē Péng+2 more|arXiv (Cornell University)|Jul 5, 2020

Model Reduction and Neural Networks参考文献 6被引用 1

一句话总结

本文提出了一种深度学习框架，通过利用随机最大值原理将随机最优控制问题重新表述为带有二次终端损失的形式，从而在引入最大条件的情况下仍能实现高效的神经网络训练。该方法在LQ控制和G-期望问题上得到了验证，数值结果表现良好。

ABSTRACT

In this paper, we aim to solve the stochastic optimal control problem via deep learning. Through the stochastic maximum principle and its corresponding Hamiltonian system, we propose a framework in which the original control problem is reformulated as a new one. This new stochastic optimal control problem has a quadratic loss function at the terminal time which provides an easier way to build a neural network structure. But the cost is that we must deal with an additional maximum condition. Some numerical examples such as the linear quadratic (LQ) stochastic optimal control problem and the calculation of G-expectation have been studied.

研究动机与目标

• 为利用深度学习解决复杂的随机最优控制问题提供解决方案。
• 将原始控制问题重新表述为带有二次损失函数的新形式，以简化神经网络的实现。
• 处理由随机最大值原理引入的额外最大条件。
• 在典型问题（如线性二次（LQ）控制和G-期望计算）上展示该框架的有效性。

提出的方法

• 利用随机最大值原理对随机最优控制问题进行重构，推导出哈密顿系统。
• 将原始问题转化为具有终端时间二次损失函数的新随机最优控制问题。
• 在神经网络训练过程中，将随机最大值原理中的最大条件作为约束条件引入。
• 设计一种神经网络架构，通过最小化二次终端损失来学习最优控制与状态轨迹。
• 使用数值优化方法训练网络，同时满足由随机最大值原理导出的最大条件。
• 将该框架应用于求解特定问题，包括线性二次（LQ）随机控制与G-期望计算。

实验结果

研究问题

• RQ1 随机最大值原理能否与深度学习有效结合，以求解随机最优控制问题？
• RQ2 将问题重新表述为带有二次终端损失的形式，如何提升神经网络在随机控制中的训练效率？
• RQ3 在重构问题中引入最大条件会带来哪些挑战？这些挑战在深度学习框架中如何解决？
• RQ4 该方法在多大程度上能够准确求解LQ控制和G-期望计算等基准问题？
• RQ5 与现有随机最优控制数值方法相比，该方法在性能与稳定性方面表现如何？

主要发现

• 带有二次终端损失的重构问题可显著提升神经网络在随机最优控制中的训练稳定性与效率。
• 将随机最大值原理中的最大条件纳入模型，对于确保学习到的控制策略的最优性至关重要。
• 该框架成功求解了线性二次（LQ）随机最优控制问题，表现出良好的收敛性与准确性。
• 该方法在计算G-期望方面表现有效，而G-期望是一种难以用经典方法求解的非线性期望。
• 数值实验表明，基于随机最大值原理的深度学习方法在基准问题上实现了具有竞争力的性能。
• 该方法为求解复杂随机最优控制问题提供了传统数值方法的可行替代方案。