[论文解读] Derivative-Informed Projected Neural Networks for High-Dimensional Parametric Maps Governed by PDEs

Thomas O’Leary-Roseberry, Umberto Villa+2 more|arXiv (Cornell University)|Nov 30, 2020

Model Reduction and Neural Networks参考文献 57被引用 22

一句话总结

该论文提出了一种名为DIPNets（Derivative-Informed Projected Neural Networks）的新方法，用于高效替代由PDE控制的高维参数化映射。通过利用雅可比矩阵信息构建输入的导数感知主动子空间，并对输出使用本征正交分解（POD），DIPNets在极少训练数据下仍能实现高精度，展现出在复杂多查询PDE问题中卓越的泛化能力与维数无关的性能表现。

ABSTRACT

Many-query problems, arising from uncertainty quantification, Bayesian inversion, Bayesian optimal experimental design, and optimization under uncertainty-require numerous evaluations of a parameter-to-output map. These evaluations become prohibitive if this parametric map is high-dimensional and involves expensive solution of partial differential equations (PDEs). To tackle this challenge, we propose to construct surrogates for high-dimensional PDE-governed parametric maps in the form of projected neural networks that parsimoniously capture the geometry and intrinsic low-dimensionality of these maps. Specifically, we compute Jacobians of these PDE-based maps, and project the high-dimensional parameters onto a low-dimensional derivative-informed active subspace; we also project the possibly high-dimensional outputs onto their principal subspace. This exploits the fact that many high-dimensional PDE-governed parametric maps can be well-approximated in low-dimensional parameter and output subspace. We use the projection basis vectors in the active subspace as well as the principal output subspace to construct the weights for the first and last layers of the neural network, respectively. This frees us to train the weights in only the low-dimensional layers of the neural network. The architecture of the resulting neural network captures to first order, the low-dimensional structure and geometry of the parametric map. We demonstrate that the proposed projected neural network achieves greater generalization accuracy than a full neural network, especially in the limited training data regime afforded by expensive PDE-based parametric maps. Moreover, we show that the number of degrees of freedom of the inner layers of the projected network is independent of the parameter and output dimensions, and high accuracy can be achieved with weight dimension independent of the discretization dimension.

研究动机与目标

• 解决涉及高维参数化PDE的多查询问题中计算成本过高的挑战。
• 在昂贵的PDE求解导致训练数据有限的背景下，开发准确、高效且可扩展的代理模型。
• 利用输入参数与输出映射中固有的低维结构，降低模型复杂度。
• 构建维数无关且在低数据环境下具有良好泛化能力的神经网络架构。
• 为PDE约束下的推理与优化提供迁移学习与多保真度建模的框架。

提出的方法

• 计算PDE控制的参数化映射的雅可比矩阵，以识别用于输入参数降维的导数感知主动子空间。
• 对输出样本应用本征正交分解（POD），以识别低维主输出子空间。
• 利用主动子空间和POD的基向量，将高维输入与输出分别投影到其对应的低维子空间。
• 构建神经网络，其中输入和输出投影基向量固定第一层与最后一层的权重，从而仅将可训练参数限制在隐藏层。
• 仅训练低维隐藏层，形成能够捕捉参数化映射一阶几何特性的网络架构。
• 通过使用基于连续PDE的敏感性信息，确保无限维一致性，避免离散化带来的伪影。

实验结果

研究问题

• RQ1 在训练数据有限的高维PDE控制参数化映射中，导数感知降维是否能提升代理模型的准确性？
• RQ2 与基于KLE或随机投影的输入降维方法相比，基于雅可比矩阵的主动子空间在神经网络代理模型中表现如何？
• RQ3 所提出的DIPNet架构在不同PDE问题（具有不同解特征）中，其准确性能保持到何种程度？
• RQ4 是否能在保持高精度的同时，使神经网络中可训练参数的数量独立于离散化维度？
• RQ5 在输入投影中使用导数信息是否能带来优于数据驱动或随机投影的泛化性能？

主要发现

• 在低数据环境下，DIPNets显著优于全空间密集神经网络，展现出更优越的泛化能力。
• DIPNet策略在对流-扩散-反应问题与Helmholtz问题中均实现了高精度，优于基于KLE和随机投影的替代方案。
• 在Helmholtz问题中，当KLE无法有效降低投影误差时，DIPNets仍保持强劲性能，归因于主动子空间能有效捕捉局部化、高频特征。
• DIPNet内部层的自由度数量与输入和输出维度无关，从而实现了维数无关的复杂度。
• 投影误差分析表明，主动子空间与POD基向量能有效降低参数化映射的内在维数，且信息损失极小。
• 由于具备无限维一致性与结构感知设计，该框架支持向迁移学习与多保真度建模的扩展。