[论文解读] Applications of the Deep Galerkin Method to Solving Partial Integro-Differential and Hamilton-Jacobi-Bellman Equations

Ali Al-Aradi, Adolfo Correia+3 more|arXiv (Cornell University)|Nov 30, 2019

Model Reduction and Neural Networks参考文献 20被引用 10

一句话总结

本文将深度伽辽金方法（Deep Galerkin Method, DGM）扩展至求解随机最优控制与平均场博弈中出现的具有挑战性的偏积分微分方程（PIDEs）和汉密尔顿-雅可比-贝尔曼（Hamilton-Jacobi-Bellman, HJB）方程。通过将解重新参数化为归一化神经网络的指数形式，以强制实现正性与单位积分约束，并通过交替随机梯度下降联合训练价值函数与最优控制网络，将DGM扩展至以原始形式求解HJB方程。

ABSTRACT

We extend the Deep Galerkin Method (DGM) introduced in Sirignano and Spiliopoulos (2018) to solve a number of partial differential equations (PDEs) that arise in the context of optimal stochastic control and mean field games. First, we consider PDEs where the function is constrained to be positive and integrate to unity, as is the case with Fokker-Planck equations. Our approach involves reparameterizing the solution as the exponential of a neural network appropriately normalized to ensure both requirements are satisfied. This then gives rise to a partial integro-differential equation (PIDE) where the integral appearing in the equation is handled using importance sampling. Secondly, we tackle a number of Hamilton-Jacobi-Bellman (HJB) equations that appear in stochastic optimal control problems. The key contribution is that these equations are approached in their unsimplified primal form which includes an optimization problem as part of the equation. We extend the DGM algorithm to solve for the value function and the optimal control simultaneously by characterizing both as deep neural networks. Training the networks is performed by taking alternating stochastic gradient descent steps for the two functions, a technique similar in spirit to policy improvement algorithms.

研究动机与目标

• 解决如福克-普朗克方程中出现的具有正性与单位积分约束的偏微分方程（PDEs）的挑战。
• 将深度伽辽金方法扩展至处理带有非局部积分项的偏积分微分方程（PIDEs）。
• 以未经简化的原始形式求解汉密尔顿-雅可比-贝尔曼（HJB）方程，其中包含内嵌的优化问题。
• 在随机控制问题中，利用深度神经网络同时学习价值函数与最优控制策略。
• 开发一种交替优化策略，通过交替优化价值函数与控制策略网络，受策略改进算法启发。

提出的方法

• 将解重新参数化为归一化神经网络的指数形式，以确保正性与单位积分，从而在福克-普朗克型PDE中实现约束满足。
• 利用重要性采样处理PIDE中的积分项，实现在训练过程中高效数值评估。
• 以原始形式表述HJB方程，保留控制输入上的优化作为方程结构的一部分。
• 将价值函数与最优控制分别表示为独立的深度神经网络，以支持联合学习。
• 实施交替随机梯度下降方案：首先使用HJB残差的梯度更新价值函数网络，随后使用最优性条件的梯度更新控制网络。
• 基于在域内随机采样的配点处最小化PDE与HJB方程残差的损失函数。

实验结果

研究问题

• RQ1 能否将深度伽辽金方法扩展至求解如福克-普朗克方程中具有正性与单位积分约束的约束PDE？
• RQ2 在深度学习框架中，如何高效处理PIDE中非局部积分项？
• RQ3 能否直接使用深度神经网络求解包含内嵌优化的HJB方程原始形式？
• RQ4 在深度学习设置中，通过交替优化是否可行地同时训练价值函数与最优控制策略？
• RQ5 所提出的交替训练策略是否能为高维随机控制问题提供稳定且精确的解？

主要发现

• 将解重新参数化为归一化神经网络的指数形式，成功在福克-普朗克方程中强制实现正性与单位积分约束。
• 重要性采样实现了PIDE中积分项在训练过程中的精确且高效近似。
• 该方法在不简化优化结构的前提下，成功求解了HJB方程的原始形式。
• 价值函数与控制网络的交替训练过程实现了稳定收敛并提升了策略学习效果。
• 该方法在经典方法因维度灾难而失效的高维随机控制问题中表现出有效性。
• 该框架实现了从数据端到端学习价值函数与最优控制策略，无需预先知晓控制律。