[论文解读] Enhanced DeepONet for Modeling Partial Differential Operators Considering Multiple Input Functions

Lesley Tan, Liang Chen|arXiv (Cornell University)|Feb 17, 2022

Model Reduction and Neural Networks被引用 11

一句话总结

该论文提出了一种新型深度学习架构——增强型DeepONet（EDeepONet），通过为每个输入函数分别使用独立的分支网络，并通过内积连接至输出主干网络，将原始DeepONet扩展至可建模具有多个输入函数的偏微分算子。该方法在两个PDE示例中，相较全连接网络实现7X–17X更高的精度，相较基线扩展型DeepONet实现2X–3X更高的精度，展现出更优的泛化能力与更快的收敛速度。

ABSTRACT

Machine learning, especially deep learning is gaining much attention due to the breakthrough performance in various cognitive applications. Recently, neural networks (NN) have been intensively explored to model partial differential equations as NN can be viewed as universal approximators for nonlinear functions. A deep network operator (DeepONet) architecture was proposed to model the general non-linear continuous operators for partial differential equations (PDE) due to its better generalization capabilities than existing mainstream deep neural network architectures. However, existing DeepONet can only accept one input function, which limits its application. In this work, we explore the DeepONet architecture to extend it to accept two or more input functions. We propose new Enhanced DeepONet or EDeepONet high-level neural network structure, in which two input functions are represented by two branch DNN sub-networks, which are then connected with output truck network via inner product to generate the output of the whole neural network. The proposed EDeepONet structure can be easily extended to deal with multiple input functions. Our numerical results on modeling two partial differential equation examples shows that the proposed enhanced DeepONet is about 7X-17X or about one order of magnitude more accurate than the fully connected neural network and is about 2X-3X more accurate than a simple extended DeepONet for both training and test.

研究动机与目标

• 为解决现有DeepONet仅支持单一输入函数的局限性，以建模需要多个输入（如初始条件和边界条件）的复杂PDE问题。
• 开发一种可扩展的深度学习架构，能够处理两个或更多输入函数，用于非线性算子在PDE中的近似。
• 与全连接神经网络及DeepONet的简单扩展相比，提升PDE算子学习的泛化能力与精度。
• 在涉及扩散与对流-扩散过程的基准PDE问题上验证所提出架构的有效性。

提出的方法

• 提出一种新型EDeepONet架构，采用两个独立的分支DNN分别独立编码每个输入函数，实现对多输入PDE算子的建模。
• 通过内积运算将两个分支网络的输出连接至输出主干网络，由其生成PDE算子的最终解。
• 设计架构以支持扩展至两个以上输入函数，方法为增加额外的分支网络及相应的内积连接。
• 实现两种变体：平面架构与分层架构，以探索结构效率与性能之间的权衡。
• 采用通用逼近框架，确保模型能够从输入函数空间到解函数空间学习复杂且非线性的映射关系。
• 基于散点数据上的损失最小化进行网络训练，利用基于DeepONet架构的快速收敛特性。

实验结果

研究问题

• RQ1 经修改的DeepONet架构能否有效建模具有两个或更多输入函数（如初始条件与边界条件）的PDE算子？
• RQ2 EDeepONet在精度与收敛速度方面相较于全连接神经网络及简单扩展型DeepONet的表现如何？
• RQ3 分支网络之间的内积连接在PDE算子学习中，对泛化能力与解的保真度提升程度如何？
• RQ4 EDeepONet架构能否有效扩展至处理复杂PDE系统中三个或更多输入函数？

主要发现

• 在扩散方程示例中，EDeepONet在训练集与测试集上的精度相较全连接神经网络（FNN）提升7X至17X。
• 在对流-扩散方程中，EDeepONet相较FNN将测试误差降低17.43X，相较基线扩展型DeepONet降低2.24X。
• EDeepONet收敛速度快于FNN，可在数据有限条件下实现有效训练，与DeepONet的固有优势一致。
• EDeepONet预测的解与真实解高度吻合，其绝对误差显著低于FNN与DeepONet在两个示例中的表现。
• EDeepONet的分层架构与平面架构性能相当，表明其对架构设计选择具有鲁棒性。
• 该方法可扩展至多个输入函数，表明其在建模由PDE控制的复杂多输入物理系统方面具有强大潜力。