[论文解读] Derivative-Informed Neural Operator: An Efficient Framework for High-Dimensional Parametric Derivative Learning

Thomas O’Leary-Roseberry, Peng Chen+2 more|arXiv (Cornell University)|Jun 21, 2022

Model Reduction and Neural Networks被引用 8

一句话总结

该论文提出了微分信息神经算子（DINOs），一种通过压缩的低秩表示形式，将高维参数化导数（雅可比矩阵）融入神经算子训练的框架。通过利用截断SVD和降维基底架构，DINOs在有限数据条件下显著提升了函数与导数逼近的准确性，同时保持训练成本与离散化维度无关，从而可在基于导数的外层问题（如贝叶斯反演和最优设计）中可靠使用。

ABSTRACT

We propose derivative-informed neural operators (DINOs), a general family of neural networks to approximate operators as infinite-dimensional mappings from input function spaces to output function spaces or quantities of interest. After discretizations both inputs and outputs are high-dimensional. We aim to approximate not only the operators with improved accuracy but also their derivatives (Jacobians) with respect to the input function-valued parameter to empower derivative-based algorithms in many applications, e.g., Bayesian inverse problems, optimization under parameter uncertainty, and optimal experimental design. The major difficulties include the computational cost of generating derivative training data and the high dimensionality of the problem leading to large training cost. To address these challenges, we exploit the intrinsic low-dimensionality of the derivatives and develop algorithms for compressing derivative information and efficiently imposing it in neural operator training yielding derivative-informed neural operators. We demonstrate that these advances can significantly reduce the costs of both data generation and training for large classes of problems (e.g., nonlinear steady state parametric PDE maps), making the costs marginal or comparable to the costs without using derivatives, and in particular independent of the discretization dimension of the input and output functions. Moreover, we show that the proposed DINO achieves significantly higher accuracy than neural operators trained without derivative information, for both function approximation and derivative approximation (e.g., Gauss-Newton Hessian), especially when the training data are limited.

研究动机与目标

• 为解决标准神经算子中导数精度不足的问题，该问题限制了其在贝叶斯反演问题和最优实验设计等基于导数的外层算法中的应用。
• 降低生成和训练高维雅可比数据的计算成本，此类数据在高维函数空间中通常难以承受。
• 通过将导数信息作为类似埃尔米特插值的形式引入，提升函数逼近的准确性，从而在训练数据有限时增强泛化能力。
• 开发一种可扩展的框架，使微分信息训练的成本独立于输入/输出离散化维度，从而支持在高保真PDE场景中的部署。
• 证明微分信息训练可实现对复杂导数量（如高斯-牛顿海森矩阵）的准确逼近，这些量对先进采样与优化方法至关重要。

提出的方法

• 通过伴随法敏感性分析计算雅可比训练数据，实现对PDE解映射的高效反向传播。
• 对高维雅可比矩阵应用截断奇异值分解（SVD），将其压缩为低秩表示，利用参数化导数中的内在低秩结构。
• 通过修改损失函数将导数信息注入神经算子训练，惩罚函数输出及其导数的误差。
• 采用降维基底架构，确保导数学习成本随降维基底维度增长，而非随完整离散化维度增长，从而实现可扩展性。
• 该框架支持通用编码器-解码器网络与专用降维基底网络（如DIPNets），后者在高维问题中表现出更优的可扩展性。
• 训练采用混合损失函数，结合函数与导数监督，通过压缩雅可比范数对导数项进行加权，以平衡学习过程。

实验结果

研究问题

• RQ1 微分信息神经算子是否能在高维函数空间中显著提升参数化映射逼近的准确性，尤其是在训练数据有限的情况下？
• RQ2 能否使微分信息训练的计算成本独立于输入和输出函数的离散化维度？
• RQ3 微分信息训练是否能实现对高阶导数量（如高斯-牛顿海森矩阵）的准确逼近，这些量对先进采样与优化算法至关重要？
• RQ4 通过低秩压缩引入导数信息，是否能比仅基于函数输出训练的标准神经算子带来更好的泛化性能？
• RQ5 在高维PDE场景中，降维基底架构与通用编码器-解码器网络在微分信息学习中的可扩展性与准确性方面有何对比？

主要发现

• 在有限数据下训练时，DINOs相比标准神经算子实现了10–20%更高的函数逼近精度，归因于微分信息插值约束。
• 未使用导数信息的神经算子在任何测试案例中均无法准确逼近高斯-牛顿海森矩阵，而DINOs在对流-反应-扩散问题中实现了>70%的准确率。
• 在超弹性问题中，即使使用大量训练数据，通用编码器-解码器网络也只有在引入导数数据时才能实现>90%的高斯-牛顿海森矩阵准确率。
• 随着离散化维度增加，降维基底架构保持恒定的导数训练成本，而通用架构则面临不可行的扩展性问题，证明了结构感知设计的必要性。
• 微分信息训练可实现高精度的反演问题梯度（>90%准确率），通常比非导数训练的对应方法高出20–30%。
• 通过分摊雅可比计算并利用截断SVD压缩导数信息，该框架将数据生成与训练成本降低至可忽略水平。