[论文解读] HyperPINN: Learning parameterized differential equations with physics-informed hypernetworks

Filipe de Avila Belbute-Peres, Yifan Chen+1 more|arXiv (Cornell University)|Oct 28, 2021

Model Reduction and Neural Networks参考文献 11被引用 11

一句话总结

HyperPINN 提出了一种物理信息超网络框架，用于为参数化微分方程生成紧凑且任务特定的神经网络。通过使用超网络将参数依赖的权重解耦，该方法实现了小型主网络的快速推理，在 ODE 和 PDE 任务中对多种参数化配置均保持高效性的同时，误差低于基线模型。

ABSTRACT

Many types of physics-informed neural network models have been proposed in recent years as approaches for learning solutions to differential equations. When a particular task requires solving a differential equation at multiple parameterizations, this requires either re-training the model, or expanding its representation capacity to include the parameterization -- both solution that increase its computational cost. We propose the HyperPINN, which uses hypernetworks to learn to generate neural networks that can solve a differential equation from a given parameterization. We demonstrate with experiments on both a PDE and an ODE that this type of model can lead to neural network solutions to differential equations that maintain a small size, even when learning a family of solutions over a parameter space.

研究动机与目标

• 为解决在微分方程求解中，针对每个参数化配置重新训练 PINN 所带来的高计算成本问题。
• 克服在参数空间中学习解族时，模型容量与推理效率之间的权衡问题。
• 通过元学习框架将参数依赖性与解逼近分离，实现高效、可扩展的参数化微分方程学习。
• 在保持主网络尺寸较小的同时，实现对多样化参数值和初始条件的高精度解。

提出的方法

• HyperPINN 使用一个超网络，以参数化 λ 作为输入，生成主神经网络 f_m 的权重 θm，该主网络用于近似微分方程的解。
• 主网络 f_m 通过结合数据损失和来自微分算子 N[u;λ] 的残差损失的物理信息损失进行训练，确保物理一致性。
• 超网络通过端到端方式训练，将参数化映射到合适的主网络权重，从而实现对未见 λ 值的零样本推理。
• 该方法兼容标准 PINN 和多步神经网络，支持对解函数或时间导数的灵活建模。
• 该方法将参数空间建模与解逼近解耦，降低了主网络在推理时的尺寸和计算成本。
• 该框架支持 ODE 和 PDE，已在参数和初始条件变化的 Burgers 方程和 Lorenz 系统上得到验证。

实验结果

研究问题

• RQ1 是否可以使用超网络在无需微调的情况下生成用于求解参数化微分方程的任务特定神经网络？
• RQ2 在求解 ODE 和 PDE 的解族时，HyperPINN 与标准 PINN 及更大模型相比，在精度和推理速度方面表现如何？
• RQ3 是否通过将参数依赖性分离到超网络中，能够实现更小、更高效的主网络，同时保持解的保真度？
• RQ4 HyperPINN 是否能在混沌系统（如 Lorenz ODE）中泛化到未见过的参数值和初始条件？
• RQ5 在学习参数化微分方程族时，模型大小、推理时间与解精度之间的权衡关系如何？

主要发现

• 在 1D Burgers PDE 任务中，HyperPINN 达到 1.9×10⁻⁵ 的均方误差，优于小型 PINN（3.0×10⁻⁴），并匹配大型 PINN（2.3×10⁻⁵），同时使用了更小的主网络（393 个参数 vs. 9665 个）。
• HyperPINN 保持了极小的主网络尺寸（393 个参数），实现了快速推理（每次评估 86 μs），在模型大小和推理速度方面显著优于大型 PINN。
• 在 Lorenz ODE 实验中，HyperPINN 的总平方误差为 17.5，优于小型基线（39.4）和大型基线（20.6），尽管其主网络更小。
• 与容易误判系统类型的基线相比，HyperPINN 更准确地捕捉了不同参数区域下的定性动力学行为，如混沌吸引子。
• 每个参数化仅需对超网络评估一次，从而实现了高效推理，而轻量化主网络在积分过程中被反复评估。
• 该方法在复杂非线性系统中表现出对未见参数值和初始条件的泛化能力，证实了其在鲁棒性方面的优势。