[论文解读] BiLO: Bilevel Local Operator Learning for PDE Inverse Problems

Zirui Zhang, Miles, Christopher E.+2 more|arXiv (Cornell University)|Apr 27, 2024

Numerical methods in inverse problems被引用 4

一句话总结

BiLO 提出了一种用于偏微分方程（PDE）反问题的双层优化框架，其中上层通过最小化数据损失来优化 PDE 参数，下层则通过残差梯度损失训练神经网络，以局部逼近解算子。该方法实现了强 PDE 约束的强制执行，对稀疏和噪声数据具有鲁棒性，并消除了 PINNs 等软约束方法中固有的损失平衡权衡问题。

ABSTRACT

We propose a new neural network based method for solving inverse problems for partial differential equations (PDEs) by formulating the PDE inverse problem as a bilevel optimization problem. At the upper level, we minimize the data loss with respect to the PDE parameters. At the lower level, we train a neural network to locally approximate the PDE solution operator in the neighborhood of a given set of PDE parameters, which enables an accurate approximation of the descent direction for the upper level optimization problem. The lower level loss function includes the L2 norms of both the residual and its derivative with respect to the PDE parameters. We apply gradient descent simultaneously on both the upper and lower level optimization problems, leading to an effective and fast algorithm. The method, which we refer to as BiLO (Bilevel Local Operator learning), is also able to efficiently infer unknown functions in the PDEs through the introduction of an auxiliary variable. We provide a theoretical analysis that justifies our approach. Through extensive experiments over multiple PDE systems, we demonstrate that our method enforces strong PDE constraints, is robust to sparse and noisy data, and eliminates the need to balance the residual and the data loss, which is inherent to the soft PDE constraints in many existing methods.

研究动机与目标

• 解决在稀疏或噪声数据条件下，PDE 反问题中数据保真度与 PDE 约束强制之间的平衡挑战。
• 克服物理信息神经网络（PINNs）中软 PDE 约束的局限性，后者需要仔细调整超参数以平衡数据损失与残差损失。
• 开发一种通过局部算子学习强制执行硬 PDE 约束的方法，无需大规模合成数据集进行预训练。
• 利用双层优化框架结合同步梯度下降，实现对未知 PDE 参数和函数的高效推理。
• 通过引入辅助变量，将方法扩展至推断由神经网络参数化的未知函数，避免高维局部算子学习的复杂性。

提出的方法

• 将 PDE 反问题建模为双层优化问题：上层最小化相对于 PDE 参数的数据损失；下层训练神经网络，以在当前参数附近局部逼近解算子。
• 在下层引入一种‘残差梯度’损失，定义为 PDE 残差相对于 PDE 参数的导数的 L2 范数，确保对 PDE 解映射的局部保真度。
• 在两个层级上使用同步梯度下降，实现高效且稳定的优化，无需迭代的内层求解器。
• 采用简单的神经网络架构表示局部解算子，仅在当前参数邻域内进行训练，避免全局算子学习。
• 引入辅助变量以推断 PDE 中的未知函数（如可变扩散系数），从而绕过学习高维局部算子的需求。
• 集成自动微分以计算 PDE 残差及其梯度，支持通过 PDE 和数据损失的端到端反向传播。

实验结果

研究问题

• RQ1 与 PINNs 等软约束方法相比，采用局部算子学习的双层优化框架是否能显著提升 PDE 反问题中的约束强制效果？
• RQ2 下层的残差梯度损失是否能有效实现对给定 PDE 参数附近解算子的精确局部逼近？
• RQ3 所提出的方法是否能在无需损失平衡的情况下，实现对稀疏和噪声数据的鲁棒参数推理？
• RQ4 与标准 PINNs 相比，该方法在推断 PDE 中的未知函数（如可变系数）时表现如何？
• RQ5 在两个层级上采用同步梯度下降是否能带来比传统嵌套优化更快且更稳定的收敛速度？

主要发现

• BiLO 的参数误差显著低于 PINNs：在含噪声的 Fisher-KPP 问题中，BiLO 的参数误差为 4.41e-3（标准差 1.44e-3），而 PINN(1e1) 为 4.93e-3（标准差 2.10e-3），且解误差和数据损失更低。
• 在具有可变扩散系数的泊松方程中，BiLO 在推断 D(x) 时达到 L∞ 误差 5.97e-2（标准差 2.20e-2），优于 PINN(1e1) 的 8.73e-2（标准差 7.68e-3），并更准确地捕捉了真实解中的拐点。
• BiLO 的数据损失保持在 1.06e-4（标准差 1.43e-5），接近噪声方差（1e-4），表明无过拟合或欠拟合现象，而 PINNs 需要仔细调节 w_dat 以避免此类问题。
• 残差梯度损失实现了精确的局部解逼近：可视化结果表明，神经网络对扰动扩散系数的解与有限差分法（FDM）解高度一致。
• BiLO 通过局部算子学习强制执行硬 PDE 约束，消除了 PINNs 中必须平衡数据损失与残差损失这一关键挑战。
• 该方法对噪声表现出鲁棒性并提升了收敛性，BiLO 推断的扩散系数更准确地捕捉了不连续性，而 PINNs 产生振荡或过度平滑的结果。