[论文解读] Learning differentiable solvers for systems with hard constraints

Geoffrey Négiar, Michael W. Mahoney+1 more|arXiv (Cornell University)|Jul 18, 2022

Model Reduction and Neural Networks被引用 6

一句话总结

本文提出了一种可微分的PDE约束层（PDE-CL），通过隐式微分求解PDE约束优化问题，以在神经网络中强制执行严格的物理约束。该方法通过字典学习启发的训练方式学习PDE参数到解的映射函数基，即使在训练过程中无解数据的情况下，也能实现更低的测试误差和更快的收敛速度，且解的连续性更优，显著优于基于软约束的基线方法。

ABSTRACT

We introduce a practical method to enforce partial differential equation (PDE) constraints for functions defined by neural networks (NNs), with a high degree of accuracy and up to a desired tolerance. We develop a differentiable PDE-constrained layer that can be incorporated into any NN architecture. Our method leverages differentiable optimization and the implicit function theorem to effectively enforce physical constraints. Inspired by dictionary learning, our model learns a family of functions, each of which defines a mapping from PDE parameters to PDE solutions. At inference time, the model finds an optimal linear combination of the functions in the learned family by solving a PDE-constrained optimization problem. Our method provides continuous solutions over the domain of interest that accurately satisfy desired physical constraints. Our results show that incorporating hard constraints directly into the NN architecture achieves much lower test error when compared to training on an unconstrained objective.

研究动机与目标

• 为解决在无解数据的情况下，训练PDE神经网络时强制执行精确物理约束的挑战。
• 克服软约束方法的局限性，如梯度不平衡、病态条件以及对物理定律的近似强制执行。
• 开发一种可微分层，支持端到端训练，同时确保PDE解满足硬性约束。
• 仅利用PDE结构和边界/初始条件，实现对未见过的PDE参数的准确、可泛化的解预测。
• 提供一种通过可调超参数平衡速度与精度的方法，适用于科学机器学习。

提出的方法

• 该方法引入一种PDE约束层（PDE-CL），通过可微分优化求解约束优化问题，将PDE参数映射到解。
• 利用隐函数定理计算PDE约束优化解的梯度，实现通过该层的反向传播。
• 通过字典学习启发的训练方式学习一组基函数，每项基函数代表从PDE参数到解的映射。
• 推理阶段，通过求解PDE约束优化问题，计算所学习基函数的最优线性组合。
• 该方法采用损失函数，最小化PDE残差，同时精确强制执行边界和初始条件。
• 该方法支持任意神经网络架构，并可在少量采样点上训练后，实现高分辨率解的评估。

实验结果

研究问题

• RQ1 能否设计一种可微分神经网络层，在保持与基于梯度优化兼容的同时，强制执行硬性PDE约束？
• RQ2 通过PDE约束层强制执行硬性约束，与软约束方法相比，在收敛速度和解精度方面表现如何？
• RQ3 在训练期间无解数据访问的情况下，模型能否泛化到未见过的PDE参数？
• RQ4 该方法在具有尖锐特征或非线性动力学的问题中，对解保真度的提升程度如何？
• RQ5 控制速度与精度权衡的超参数在不同PDE类型上的性能影响如何？

主要发现

• 所提出的硬约束模型在1D Burgers’问题上，训练步数少于5,000步时，相对误差达到1.11% ± 0.11%，显著优于软约束基线方法。
• 软约束基线方法需要100倍以上的训练步数才能达到相同精度，相对误差为4.34% ± 0.33%。
• 硬约束模型在解的尖锐特征捕捉方面优于软约束模型，热力图的视觉对比显示了这一点。
• 在所有三个测试问题（2D Darcy Flow、1D Burgers’、1D对流）中，该方法均表现出更低的PDE残差误差和更快的收敛速度。
• 该模型在仅使用少量采样点训练后，即可在高分辨率网格上实现准确解，展示了高效的推理能力。
• 实证结果表明，强制执行硬约束可带来比基于惩罚的软约束更优的泛化性能和更符合物理规律的解。