[论文解读] An Expert's Guide to Training Physics-informed Neural Networks

Sifan Wang, Shyam Sankaran+2 more|arXiv (Cornell University)|Aug 16, 2023

Model Reduction and Neural Networks被引用 64

一句话总结

本文提出了一个针对 PINN 的全面训练流水线，包括非维度化、先进架构（Fourier 特征、随机权重分解）以及训练算法（因果、课程式学习、自适应损失加权），并提供可完全复现实验的 JAX 实现和广泛的消融研究。

ABSTRACT

Physics-informed neural networks (PINNs) have been popularized as a deep learning framework that can seamlessly synthesize observational data and partial differential equation (PDE) constraints. Their practical effectiveness however can be hampered by training pathologies, but also oftentimes by poor choices made by users who lack deep learning expertise. In this paper we present a series of best practices that can significantly improve the training efficiency and overall accuracy of PINNs. We also put forth a series of challenging benchmark problems that highlight some of the most prominent difficulties in training PINNs, and present comprehensive and fully reproducible ablation studies that demonstrate how different architecture choices and training strategies affect the test accuracy of the resulting models. We show that the methods and guiding principles put forth in this study lead to state-of-the-art results and provide strong baselines that future studies should use for comparison purposes. To this end, we also release a highly optimized library in JAX that can be used to reproduce all results reported in this paper, enable future research studies, as well as facilitate easy adaptation to new use-case scenarios.

研究动机与目标

• 提供一个结构化的训练流水线，以缓解 PINN 训练中的病理问题（光谱偏差、因果性、梯度不平衡）。
• 制定健壮、可迁移的 PINN 架构与优化的最佳实践。
• 提供具有挑战性的基准测试和广泛的消融研究，以建立稳固的基线。
• 发布高性能的 JAX 库以复现实验结果并促进未来研究。

提出的方法

• 应用 PDE 非维度化，将变量置于相近尺度。
• 使用带 Fourier 特征嵌入和随机权重分解的 MLP，以降低光谱偏差并加速收敛。
• 提出带有自适应时间权重和全局权重的加权 PINN 损失以平衡项。
• 通过按时间顺序加权时间残差以遵循因果性来实现因果训练。
• 结合课程训练和损失平衡策略（基于梯度的和 NTK 启发式）以提高稳定性和准确性。
• 提供可复现实验的 JAX 库，以复现实验结果并促进未来工作。

实验结果

研究问题

• RQ1 非维度化和网络架构选择如何影响 PINN 训练效率和准确性？
• RQ2 哪些训练策略（因果训练、课程学习、自适应损失加权）最有效地解决 PINN 的病理问题？
• RQ3 跨基准的消融研究如何为 PINN 提供稳健的基线和最佳实践的指引？
• RQ4 一个标准化、可复现实验的库是否能够复现最先进的结果并促进 PINN 的未来研究？

主要发现

• 非维度化和架构选择（Fourier 特征、随机权重分解）显著提升训练收敛性和准确性。
• 自适应损失平衡和因果训练降低梯度不平衡并加强时间因果性，从而实现更鲁棒的优化。
• 课程训练和基于 NTK 的加权方案进一步提升跨基准的一致性与性能。
• 广泛的消融研究建立了实用指南和强基线，未来的 PINN 工作应与之比较。
• 发布了高度优化的 JAX 库，以复现实验结果并支持未来的应用。