[论文解读] Elvet -- a neural network-based differential equation and variational problem solver

Jack Y. Araz, Juan Carlos Criado+1 more|arXiv (Cornell University)|Mar 26, 2021

Model Reduction and Neural Networks参考文献 35被引用 14

一句话总结

Elvet 是一个使用神经网络求解任意常微分方程和偏微分方程系统以及变分问题的 Python 包，支持任意边界条件。它将解表示为可训练的神经网络，通过最小化结合了方程和约束的损失函数，提供灵活的架构与训练工具，实现高精度的连续域解。

ABSTRACT

We present Elvet, a Python package for solving differential equations and variational problems using machine learning methods. Elvet can deal with any system of coupled ordinary or partial differential equations with arbitrary initial and boundary conditions. It can also minimize any functional that depends on a collection of functions of several variables while imposing constraints on them. The solution to any of these problems is represented as a neural network trained to produce the desired function.

研究动机与目标

• 提供一个灵活、通用的框架，用于使用机器学习求解微分方程和变分问题。
• 通过在全定义域内实现连续、可微分的解，克服传统离散化方法的局限性。
• 支持具有复杂初始和边界条件的任意常微分方程和偏微分方程系统。
• 直接最小化泛函，而无需推导欧拉-拉格朗日方程。
• 提供可扩展的训练流水线，包括损失组合器、学习率调度器和监控工具。

提出的方法

• 将微分方程或变分问题的解表示为具有可学习权重和偏置的神经网络。
• 构建一个损失函数，通过平方范数将微分方程的残差与边界/初始条件的违反程度相结合。
• 对于变分问题，损失即为泛函本身，从而实现直接最小化。
• 通过反向传播标准神经网络训练方法来最小化总损失。
• 使用可配置的损失组合器（加权和、求和、一对一）将多个损失分量聚合为标量。
• 集成学习率调度器（指数衰减、反时限衰减、多项式衰减、平台降低）和回调函数（早停、模型保存、终止）以实现稳健训练。

实验结果

研究问题

• RQ1 通用神经网络框架能否求解具有任意边界条件的任意常微分方程和偏微分方程系统？
• RQ2 神经网络能否在无需推导欧拉-拉格朗日方程的情况下直接最小化复杂泛函？
• RQ3 与传统离散方法相比，神经网络解的连续、可微分特性在精度和适应性方面表现如何？
• RQ4 具有自适应学习率和早停机制的灵活训练工作流能否改善复杂微分方程问题的收敛性？
• RQ5 该框架在处理难以重述为偏微分方程的非局部或约束型变分问题时效果如何？

主要发现

• Elvet 成功地通过基于神经网络的优化求解了一系列微分方程和变分问题，而无需解析重述。
• 该框架通过统一的损失公式，支持具有混合初始和边界条件的任意常微分方程和偏微分方程系统。
• 神经网络解在全定义域内提供连续、可微分的函数逼近，支持任意点的评估而无需重新训练。
• 使用可自定义的损失组合器和训练回调函数，即使在复杂或病态条件问题上也能实现稳健且自适应的优化。
• 集成多种学习率调度器和早停机制显著提升了收敛稳定性，防止过拟合或发散。
• 该软件包证明了通过神经网络直接最小化泛函是可行且有效的，即使在欧拉-拉格朗日方程推导不切实际或不可行的情况下亦如此。