[论文解读] Efficient PDE-Constrained optimization under high-dimensional uncertainty using derivative-informed neural operators

Dingcheng Luo, Thomas O’Leary-Roseberry+2 more|arXiv (Cornell University)|May 31, 2023

Model Reduction and Neural Networks被引用 9

一句话总结

论文提出 MR-DINO，一种带导数信息的神经算子，采用降维基底架构，在高维不确定性下解决 PDE 约束优化，实现大幅加速且保持精度。

ABSTRACT

We propose a novel machine learning framework for solving optimization problems governed by large-scale partial differential equations (PDEs) with high-dimensional random parameters. Such optimization under uncertainty (OUU) problems may be computational prohibitive using classical methods, particularly when a large number of samples is needed to evaluate risk measures at every iteration of an optimization algorithm, where each sample requires the solution of an expensive-to-solve PDE. To address this challenge, we propose a new neural operator approximation of the PDE solution operator that has the combined merits of (1) accurate approximation of not only the map from the joint inputs of random parameters and optimization variables to the PDE state, but also its derivative with respect to the optimization variables, (2) efficient construction of the neural network using reduced basis architectures that are scalable to high-dimensional OUU problems, and (3) requiring only a limited number of training data to achieve high accuracy for both the PDE solution and the OUU solution. We refer to such neural operators as multi-input reduced basis derivative informed neural operators (MR-DINOs). We demonstrate the accuracy and efficiency our approach through several numerical experiments, i.e. the risk-averse control of a semilinear elliptic PDE and the steady state Navier--Stokes equations in two and three spatial dimensions, each involving random field inputs. Across the examples, MR-DINOs offer $10^{3}$--$10^{7} imes$ reductions in execution time, and are able to produce OUU solutions of comparable accuracies to those from standard PDE based solutions while being over $10 imes$ more cost-efficient after factoring in the cost of construction.

研究动机与目标

• 解决高维不确定性下 PDE 约束优化的计算瓶颈（OUU）。
• 开发一个神经算子代理，能够准确地将随机参数和优化变量映射到 PDE 状态及其导数。
• 通过在训练中加入导数信息，实现高效的基于梯度的优化。
• 在带随机场输入的半线性椭圆和 Navier–Stokes 问题上展示可扩展性。

提出的方法

• 提出 MR-DINO：一个多输入降维基底神经算子学习框架。
• 用降维基底对参数和状态的高维输入进行编码，以实现与维度无关的学习。
• 在解映射及其对优化变量的导数（DINO）上训练神经算子。
• 用快速神经算子评估和梯度的自动微分替代 SAA 中的 PDE 求解以计算风险度量。
• 给出关于梯度误差界的理论指导，将算子精度与导数精度联系起来（命题 3.1）。
• 展示带有 POD 的状态降维和 PCA 的参数降维等降维神经架构，以获得低维映射（公式 19）。

实验结果

研究问题

• RQ1 神经算子代理是否能够在高维 OUU 设置中准确地近似 PDE 解及其对优化变量的导数？
• RQ2 在 CVaR 基于 OUU 中用 MR-DINO 代理替代重复 PDE 求解时，能带来多少加速以及有哪些精度权衡？
• RQ3 导数信息训练和降维基底架构是否比非导数或非降维方法在梯度保真度和优化性能上具有优势？
• RQ4 MR-DINO 是否可以在 PDE 约束的 OUU 中对不同目标和风险度量重复使用？

主要发现

• MR-DINOs 在所测试的 PDE 中实现了 10^3 到 10^7 倍的执行时间减缩。
• 神经算子在与 PDE 基于解相当的精度下给出 OUU 解，且考虑构建成本后成本效益提升超过 10×。
• 导数训练显著提升算子输出精度和梯度质量，从而得到更高质量的 OUU 解。
• MR-DINO 架构利用降维基底（POD/PCA）来管理高维输入，并实现可扩展性能。
• 代理在不同目标和风险度量的 OUU 问题族中几乎无需额外成本即可重复使用。