[论文解读] Meta Learning of Interface Conditions for Multi-Domain Physics-Informed Neural Networks

Shibo Li, Michael Penwarden+5 more|arXiv (Cornell University)|Oct 23, 2022

Model Reduction and Neural Networks被引用 6

一句话总结

该论文提出 METALIC，一种基于上下文多臂老虎机与高斯过程奖励的元学习框架，用于动态选择多域物理信息神经网络（PINNs）的最优接口条件。该方法实现次线性遗憾，相较于随机条件选择，解的误差最高降低 88.5%，在四个 PDE 家族中均优于标准 PINNs 和启发式接口选择方案。

ABSTRACT

Physics-informed neural networks (PINNs) are emerging as popular mesh-free solvers for partial differential equations (PDEs). Recent extensions decompose the domain, apply different PINNs to solve the problem in each subdomain, and stitch the subdomains at the interface. Thereby, they can further alleviate the problem complexity, reduce the computational cost, and allow parallelization. However, the performance of multi-domain PINNs is sensitive to the choice of the interface conditions. While quite a few conditions have been proposed, there is no suggestion about how to select the conditions according to specific problems. To address this gap, we propose META Learning of Interface Conditions (METALIC), a simple, efficient yet powerful approach to dynamically determine appropriate interface conditions for solving a family of parametric PDEs. Specifically, we develop two contextual multi-arm bandit (MAB) models. The first one applies to the entire training course, and online updates a Gaussian process (GP) reward that given the PDE parameters and interface conditions predicts the performance. We prove a sub-linear regret bound for both UCB and Thompson sampling, which in theory guarantees the effectiveness of our MAB. The second one partitions the training into two stages, one is the stochastic phase and the other deterministic phase; we update a GP reward for each phase to enable different condition selections at the two stages to further bolster the flexibility and performance. We have shown the advantage of METALIC on four bench-mark PDE families.

研究动机与目标

• 为解决多域 PINNs 中接口条件选择缺乏系统性指导的问题，该问题显著影响解的精度与训练稳定性。
• 开发一种动态、自适应的方法，基于 PDE 参数与问题特征选择最优接口条件。
• 实现在线、高效且理论保证的条件选择，无需大量超参数调优或轨迹收集。
• 通过从先前训练经验中学习，提升多域 PINNs 在多样化 PDE 家族中的性能。
• 证明 METALIC 即使使用更少神经元，也能优于随机条件选择与标准单域 PINNs。

提出的方法

• 将接口条件选择建模为上下文多臂老虎机（MAB）问题，其中 PDE 参数为上下文，接口条件为动作，解的精度为奖励。
• 采用高斯过程（GP）建模奖励函数，并通过上置信度界（UCB）或汤普森采样（TS）在线更新。
• 提出一种两阶段 MAB 模型，分别优化随机训练阶段（ADAM）与确定性训练阶段（LBFGS）的条件。
• 使用混合连续与分类核函数建模联合上下文-动作空间，实现对 PDE 参数与条件集合的高效泛化。
• 应用在线学习方法，在训练过程中持续优化条件选择，使模型能适应新 PDE 实例而无需重新训练。
• 证明在所提出的核函数下，UCB 与 TS 均具有次线性遗憾界，保证随时间推移收敛至最优条件选择。

实验结果

研究问题

• RQ1 元学习方法能否在参数化 PDE 家族中，动态且高效地选择多域 PINNs 的最佳接口条件？
• RQ2 使用具有 GP 奖励建模的上下文 MAB 是否能带来比随机或固定条件选择更高的解精度？
• RQ3 将训练过程划分为随机与确定性阶段，是否能提升条件选择的灵活性与性能？
• RQ4 与标准 PINNs 和启发式接口选择相比，METALIC 能将解误差降低多少？
• RQ5 所选接口条件中是否存在可识别的模式？这些模式是否与物理解释一致，或揭示出非直观的训练优势？

主要发现

• METALIC 实现了解累积误差的次线性增长，显著慢于随机条件选择所呈现的线性增长。
• 在 METALIC 选择的条件下，多域 PINNs 相较于随机接口条件选择，解误差最高降低 88.5%。
• 即使使用更少神经元，METALIC 仍优于标准单域 PINNs，展现出更优的样本与参数效率。
• 在对流方程中，METALIC 仅选择了解连续性项（$I_{u_{avg}}$），以最少的接口项实现了最佳精度。
• 在反应问题中，METALIC 选择了非物理项（如时间导数），却提升了训练性能，表明其存在超越物理解释的机器学习特有优势。
• 在 Burger 方程中，METALIC 主要选择了通量连续性，符合物理预期，并在所有测试案例中实现了最大的误差降低。