[论文解读] Meta-PINN: Meta learning for improved neural network wavefield solutions

Shijun Cheng, Tariq Alkhalifah|arXiv (Cornell University)|Jan 21, 2024

Seismic Imaging and Inversion Techniques被引用 4

一句话总结

本文提出Meta-PINN，一种元学习框架，通过在多种速度模型上学习最优网络初始化，加速并提升物理信息神经网络（PINN）在地震波场模拟中的求解性能。通过采用支持集与查询集的双层元训练过程，Meta-PINN相比随机初始化的基线PINN实现显著更快的收敛速度和更高的精度，训练时间最高可减少60%，即使在有限训练轮次下也能更准确地表示波场。

ABSTRACT

Physics-informed neural networks (PINNs) provide a flexible and effective alternative for estimating seismic wavefield solutions due to their typical mesh-free and unsupervised features. However, their accuracy and training cost restrict their applicability. To address these issues, we propose a novel initialization for PINNs based on meta learning to enhance their performance. In our framework, we first utilize meta learning to train a common network initialization for a distribution of medium parameters (i.e. velocity models). This phase employs a unique training data container, comprising a support set and a query set. We use a dual-loop approach, optimizing network parameters through a bidirectional gradient update from the support set to the query set. Following this, we use the meta-trained PINN model as the initial model for a regular PINN training for a new velocity model in which the optimization of the network is jointly constrained by the physical and regularization losses. Numerical results demonstrate that, compared to the vanilla PINN with random initialization, our method achieves a much fast convergence speed, and also, obtains a significant improvement in the results accuracy. Meanwhile, we showcase that our method can be integrated with existing optimal techniques to further enhance its performance.

研究动机与目标

• 解决在地震波场模拟中，针对每个新速度模型重新训练时，基线PINN计算成本高且收敛慢的问题。
• 提升PINN在复杂、变化的地下介质中求解地震波方程的泛化能力与效率。
• 开发一种稳健且可迁移的网络初始化方法，使模型能无需完整重训即可快速适应新速度模型。
• 将元学习与现有PINN优化技术相结合，进一步提升性能与稳定性。

提出的方法

• 采用双层元学习框架，网络在速度模型分布上进行训练，利用支持集与查询集实现双向梯度更新。
• 元训练阶段学习一种共享初始化，使其在多种速度模型间具有泛化能力，从而减少在新模型上进行完整重训的需求。
• 元训练完成后，使用学习到的初始化来启动标准PINN训练以应对新速度模型，同时联合优化物理损失与正则化损失。
• 在网络架构中集成位置编码（PE），以提升空间特征与波场细节的表征能力。
• 在保留PINN无网格、无监督特性的基础上，通过元学习初始化显著提升其收敛速度与精度。
• 在简单与复杂速度模型（包括逆冲构造模型）上对框架进行评估，以验证其鲁棒性与可扩展性。

实验结果

研究问题

• RQ1 是否可利用元学习构建一种通用且可迁移的初始化，以加速新地震速度模型下PINN的训练？
• RQ2 与随机初始化相比，元学习初始化在波场建模中的收敛速度与解的精度方面表现如何？
• RQ3 位置编码的集成在多大程度上可进一步提升元学习PINN的性能？
• RQ4 Meta-PINN框架中，元训练成本与下游推理效率之间存在何种权衡？

主要发现

• Meta-PINN在约4,000个训练轮次内实现收敛，其精度与标准PINN训练10,000轮次的精度相当，训练时间减少约60%。
• 集成位置编码的Meta-PINN在第2,000轮时已获得高质量波场解，而标准Meta-PINN在该阶段仍无法生成一致的解。
• 该方法的物理损失下降速度比基线PINN快达90%，表明其优化动力学性能更优。
• 元训练阶段的计算资源随数据规模增长：使用10个速度模型时，需约56 GB显存与每轮17.4秒；使用100个模型时，需约580 GB显存与每轮174秒。
• 位置编码的集成显著提升了空间分辨率与波场细节，尤其在复杂地质构造（如逆冲模型）中表现突出。
• Meta-PINN在高度复杂的速度模型下仍保持高精度与快速适应能力，其在速度与保真度方面均优于基线PINN。