[论文解读] Transfer Learning with Physics-Informed Neural Networks for Efficient Simulation of Branched Flows

Raphaël Pellegrin, Blake Bullwinkel+2 more|arXiv (Cornell University)|Nov 1, 2022

Model Reduction and Neural Networks被引用 5

一句话总结

该论文提出了一种结合迁移学习的多头物理信息神经网络（PINN）框架，以高效模拟由哈密顿方程控制的非线性分支流。通过在多种初始条件下预训练基础网络，并仅微调输出头，该方法实现了显著的计算加速——全连接神经网络（FFNN）最高达42.34个epoch/秒，DEQGAN最高达17.09个epoch/秒，同时保持了高精度，并能泛化到新的初始条件和随机势能。

ABSTRACT

Physics-Informed Neural Networks (PINNs) offer a promising approach to solving differential equations and, more generally, to applying deep learning to problems in the physical sciences. We adopt a recently developed transfer learning approach for PINNs and introduce a multi-head model to efficiently obtain accurate solutions to nonlinear systems of ordinary differential equations with random potentials. In particular, we apply the method to simulate stochastic branched flows, a universal phenomenon in random wave dynamics. Finally, we compare the results achieved by feed forward and GAN-based PINNs on two physically relevant transfer learning tasks and show that our methods provide significant computational speedups in comparison to standard PINNs trained from scratch.

研究动机与目标

• 解决为每个新初始条件或系统参数从零开始训练PINN所导致的高计算成本问题。
• 实现对随机分支流现象中出现的非线性常微分方程组的高效求解。
• 开发一种迁移学习框架，使其在非线性动力学中同时泛化于初始条件和随机势能。
• 比较前馈神经网络（FFNN）与基于生成对抗网络的PINN（DEQGAN）在物理系统迁移学习设置下的性能表现。
• 证明预训练的PINN基础网络能够学习随机势能中波动力学的一般统计特性。

提出的方法

• 采用多头PINN架构，其中共享的基础网络处理输入，多个线性输出头为不同初始条件生成解。
• 应用初始条件重参数化方法，通过变换 $\tilde{u}_{l,i}(t) = [\mathbb{z}_l(0)]_i + (1 - e^{-t})u_{l,i}(t)$ 精确满足初始条件。
• 在11组初始条件下训练多头模型，以学习系统动力学的代表性基底。
• 冻结基础网络权重，仅对新初始条件（初始条件迁移学习）或新随机势能（势能迁移学习）微调输出头。
• 同时使用前馈神经网络（FFNN）和DEQGAN（基于GAN的PINN）进行训练，并比较其损失函数在最小化残差方面的表现。
• 利用自动微分计算神经网络解的导数，并在域内采样点上计算残差损失。

实验结果

研究问题

• RQ1 使用多头PINN进行迁移学习是否能显著减少在分支流系统中求解非线性常微分方程的训练时间？
• RQ2 预训练的PINN基础网络是否能泛化到基础训练中未见过的新初始条件？
• RQ3 同一基础网络是否可被适配到新的随机势能，同时保持解的精度？
• RQ4 在迁移学习中，基于GAN的PINN（DEQGAN）与标准FFNN相比，在收敛速度和损失最小化方面表现如何？
• RQ5 基础网络在特定配置之外，能在多大程度上学习到底层物理系统的普遍统计特性？

主要发现

• 与从零开始训练相比，使用多头PINN进行迁移学习使FFNN的训练速度最高提升至42.34个epoch/秒，DEQGAN最高提升至17.09个epoch/秒。
• 单头迁移学习模型的收敛速度优于从零开始训练的典型单头PINN，且在训练过程中残差损失更低。
• 该方法成功模拟了100个未用于基础训练的新初始条件下的分支流轨迹，证明了强大的泛化能力。
• 势能迁移学习表明，基础网络可适应具有相同统计特性（σ 和 A）的新随机势能，显示出稳健的泛化性能。
• 在基础训练和迁移学习阶段，DEQGAN模型的残差损失均低于FFNN，表明其损失景观优化效果更优。
• 多头架构实现了在多个初始条件下高效推理，仅需极少再训练，凸显了其在参数化研究中的可扩展性。