[论文解读] Accelerating physics-informed neural network based 1D arc simulation by meta learning

Linlin Zhong, Bingyu Wu+1 more|arXiv (Cornell University)|Dec 1, 2022

Welding Techniques and Residual Stresses被引用 4

一句话总结

本文提出Meta-PINN，一种元学习框架，通过在多样化等离子体建模任务上预训练元网络以提供有效的初始权重，从而加速基于物理信息神经网络（PINN）的1D电弧等离子体模拟。该方法在涉及不同边界温度、电弧半径、压力和气体混合物的四个测试案例中，将相对L2误差的训练时间减少了1.1倍至6.9倍，展示了更快的收敛速度和对分布外条件的泛化能力。

ABSTRACT

Physics-Informed Neural Networks (PINNs) have a wide range of applications as an alternative to traditional numerical methods in plasma simulation. However, in some specific cases of PINN-based modeling, a well-trained PINN may require tens of thousands of optimizing iterations during training stage for complex modeling and huge neural networks, which is sometimes very time-consuming. In this work, we propose a meta-learning method, namely Meta-PINN, to reduce the training time of PINN-based 1-D arc simulation. In Meta-PINN, the meta network is first trained by a two-loop optimization on various training tasks of plasma modeling, and then used to initialize the PINN-based network for new tasks. We demonstrate the power of Meta-PINN by four cases corresponding to 1-D arc models at different boundary temperatures, arc radii, arc pressures, and gas mixtures. We found that a well-trained meta network can produce good initial weights for PINN-based arc models even at conditions slightly outside of training range. The speed-up in terms of relative L2 error by Meta-PINN ranges from 1.1x to 6.9x in the cases we studied. The results indicate that Meta-PINN is an effective method for accelerating the PINN-based 1-D arc simulation.

研究动机与目标

• 为解决PINN在1D电弧等离子体模拟中训练成本高的问题，特别是针对需要数万次迭代的大规模深度网络。
• 通过实现对新任务的快速适应，提升PINN在不同等离子体条件下的样本效率和泛化能力。
• 探究元学习是否能有效初始化PINN以用于等离子体模拟，从而减少对从随机权重重新训练的依赖。
• 在具有不同物理参数（如温度、半径、压力和气体组成）的真实1D电弧模型上验证该方法。

提出的方法

• 采用双层优化框架：内层循环在每个任务的支持数据上微调PINN，外层循环使用查询数据更新元网络，以最小化泛化误差。
• 在包含不同边界温度、电弧半径、压力和气体混合物的多样化1D电弧模拟任务上训练元网络，以学习可迁移的初始化权重。
• 使用预训练的元网络权重初始化PINN以应对新且未见过的任务，显著减少达到目标损失和误差阈值所需的训练周期数。
• 在元学习和特定任务训练过程中，通过将PDE约束直接嵌入损失函数，利用物理信息神经网络的归纳偏置。
• 通过四个不同1D电弧模拟案例中的相对L2误差和收敛速度（达到目标损失所需的周期数）对框架进行评估。

实验结果

研究问题

• RQ1 元学习能否有效初始化PINN用于1D电弧等离子体模拟，从而在多样化物理条件下减少训练时间？
• RQ2 元初始化的PINN在训练分布外的条件下泛化能力如何？
• RQ3 与随机初始化相比，使用元初始化在收敛速度和解的精度方面能获得多大的加速增益？
• RQ4 当测试条件与训练任务显著偏离时，Meta-PINN的性能是否会显著下降？

主要发现

• 在所有测试的1D电弧模拟案例中，Meta-PINN在相对L2误差减少方面实现了1.1倍至6.9倍的加速，且在更复杂或不熟悉的任务中增益更高。
• 元网络提供了有效的初始权重，即使在元训练期间未见过的条件下（如超出训练范围的边界温度和气体混合物）也能实现更快收敛。
• 在电弧半径为15.5 mm的案例中，Meta-PINN将达到10⁻³相对L2误差所需的周期数从PINN的1.82减少到1.51，表现出一致的改进。
• 在4.5 bar压力的案例中，Meta-PINN在10⁻³误差阈值下实现了3.58倍的相对L2误差减少速度，而PINN在最大周期限制内未能收敛。
• 该方法在处理参数变化方面表现出鲁棒性，包括氮气比例从5%到55%的变化，Meta-PINN保持更低的误差和更快的收敛速度。
• 结果表明，元初始化显著提升了PINN的训练效率，且不损害解的精度，尤其在高维或复杂等离子体区域中表现突出。