[论文解读] Overcoming the curse of dimensionality for some Hamilton--Jacobi partial differential equations via neural network architectures

Jérôme Darbon, Gabriel P. Langlois+1 more|arXiv (Cornell University)|Oct 20, 2019

Model Reduction and Neural Networks参考文献 140被引用 7

一句话总结

本文建立了特定神经网络架构与高维中哈密顿-雅可比（HJ）PDE的粘性解之间的精确数学联系。证明了具有ReLU激活函数的某些深层残差网络可精确表示具有凸初始数据及由网络参数导出的哈密顿量的HJ PDE的解，从而实现无网格、硬件高效的求解，且不受维度灾难的影响。

ABSTRACT

We propose new and original mathematical connections between Hamilton-Jacobi (HJ) partial differential equations (PDEs) with initial data and neural network architectures. Specifically, we prove that some classes of neural networks correspond to representation formulas of HJ PDE solutions whose Hamiltonians and initial data are obtained from the parameters of the neural networks. These results do not rely on universal approximation properties of neural networks; rather, our results show that some classes of neural network architectures naturally encode the physics contained in some HJ PDEs. Our results naturally yield efficient neural network-based methods for evaluating solutions of some HJ PDEs in high dimension without using grids or numerical approximations. We also present some numerical results for solving some inverse problems involving HJ PDEs using our proposed architectures.

研究动机与目标

• 解决求解哈密顿-雅可比（HJ）PDE时的维度灾难问题，该问题严重限制了传统基于网格的数值方法在高维中的应用。
• 开发一种基于神经网络的方法，无需网格离散化或数值近似，即可计算HJ PDE的粘性解。
• 建立特定残差网络架构与HJ PDE解表示公式的精确数学对应关系。
• 利用专用神经网络电路实现HJ PDE解的高效、硬件加速求解，充分发挥现代AI加速器的优势。
• 通过使用所提出的架构进行参数估计，将该方法扩展至涉及HJ PDE的反问题。

提出的方法

• 提出一类具有ReLU激活函数的深层残差神经网络，其能精确编码一类HJ PDE的粘性解。
• 定义网络参数（权重和偏置），使得HJ PDE的哈密顿量和初始条件可直接从网络架构中导出。
• 利用Lax--Hopf公式和Hopf公式，推导出解作为对应于网络层的函数复合的表示形式。
• 证明HJ PDE的解可通过网络中的前向传播精确计算，无需近似。
• 建立标量守恒律的熵解与HJ解梯度之间的等价关系，将网络动态与PDE物理联系起来。
• 证明在给定输入和时间下，网络的输出通过涉及哈密顿量和初始数据的极小化-极大化表示，对应于HJ PDE的粘性解。

实验结果

研究问题

• RQ1 特定的神经网络架构能否在高维中精确表示哈密顿-雅可比PDE的粘性解？
• RQ2 如何将残差网络的参数映射到HJ PDE的哈密顿量和初始条件，以确保解的精确表示？
• RQ3 具有ReLU激活函数的残差网络前向传播是否可在无数值离散化的情况下计算HJ PDE的粘性解？
• RQ4 该基于架构的对应关系能否实现在高维设置下无网格、硬件优化的HJ PDE解求解？
• RQ5 该框架能否通过使用相同网络结构扩展至求解涉及HJ PDE的反问题？

主要发现

• 一类具有ReLU激活函数的深层残差网络可精确计算具有凸初始数据及由网络参数导出的哈密顿量的HJ PDE的粘性解。
• 解通过前向传播计算，无需基于网格的离散化，从而绕过了经典数值方法固有的维度灾难。
• 网络架构通过层权重、偏置与PDE的哈密顿量和初始条件之间的直接对应关系，编码了HJ PDE的物理本质。
• 该方法可利用专用神经网络硬件（如TPU或基于FPGA的加速器）高效求解HJ PDE解，且无需数值近似。
• 数值结果表明，利用所提出的神经网络架构求解涉及HJ PDE的反问题具有可行性。
• 理论分析证明，在适当的参数化下，网络输出通过Lax--Hopf公式与粘性解精确相等。