[論文レビュー] Enhanced DeepONet for Modeling Partial Differential Operators Considering Multiple Input Functions

Lesley Tan, Liang Chen|arXiv (Cornell University)|Feb 17, 2022

Model Reduction and Neural Networks被引用数 11

ひとこと要約

本稿では、複数の入力関数を用いて偏微分方程式（PDE）の作用素をモデル化できるように拡張された、新たな深層学習アーキテクチャ「Enhanced DeepONet（EDeepONet）」を提案する。この手法は、各関数に対して別個のブランチネットワークを用い、それらを内積により出力トランクネットワークに接続することで、元のDeepONetを拡張している。2つのPDE例において、完全結合ネットワークよりも7X–17X、ベースライン拡張DeepONetよりも2X–3X高い精度を達成しており、一般化性能と収束速度の両面で優れた性能を示している。

ABSTRACT

Machine learning, especially deep learning is gaining much attention due to the breakthrough performance in various cognitive applications. Recently, neural networks (NN) have been intensively explored to model partial differential equations as NN can be viewed as universal approximators for nonlinear functions. A deep network operator (DeepONet) architecture was proposed to model the general non-linear continuous operators for partial differential equations (PDE) due to its better generalization capabilities than existing mainstream deep neural network architectures. However, existing DeepONet can only accept one input function, which limits its application. In this work, we explore the DeepONet architecture to extend it to accept two or more input functions. We propose new Enhanced DeepONet or EDeepONet high-level neural network structure, in which two input functions are represented by two branch DNN sub-networks, which are then connected with output truck network via inner product to generate the output of the whole neural network. The proposed EDeepONet structure can be easily extended to deal with multiple input functions. Our numerical results on modeling two partial differential equation examples shows that the proposed enhanced DeepONet is about 7X-17X or about one order of magnitude more accurate than the fully connected neural network and is about 2X-3X more accurate than a simple extended DeepONet for both training and test.

研究の動機と目的

• 既存のDeepONetが単一の入力関数しかサポートしないという制限を克服し、初期条件や境界条件など複数の入力を必要とする複雑なPDEをモデル化すること。
• 非線形作用素近似のため、2つ以上の入力関数を扱えるスケーラブルな深層学習アーキテクチャの開発。
• 完全結合ニューラルネットワークや単純なDeepONet拡張と比較して、一般化性能と精度の向上。
• 拡散および対流拡散プロセスを含むベンチマークPDE問題における、提案アーキテクチャの検証。

提案手法

• 各入力関数を独立に符号化できる2つの別個のブランチDNNを備えた新しいEDeepONetアーキテクチャを提案。これにより、多入力PDE作用素のモデル化が可能となる。
• 2つのブランチネットワークの出力を内積演算で接続し、出力トランクネットワークに供給することで、PDE作用素の最終解が生成される。
• 追加のブランチネットワークと対応する内積接続を追加することで、2つ以上の入力関数に対しても拡張可能であることを設計。
• 構造的効率と性能のトレードオフを調査するため、フラットアーキテクチャと階層的アーキテクチャの2つのバリエーションを実装。
• 入力関数空間から解関数空間への複雑な非線形写像を学習できるように、ユニバーサル近似フレームワークを採用。
• 散乱したデータポイント上で損失最小化を用いてネットワークを訓練し、DeepONetベースのアーキテクチャが持つ高速収束特性を活用。

実験結果

リサーチクエスチョン

• RQ1 初期条件や境界条件など、2つ以上の入力関数を伴うPDE作用素を、修正されたDeepONetアーキテクチャが効果的にモデル化できるか。
• RQ2 精度と収束速度の観点から、提案されたEDeepONetは完全結合ニューラルネットワークや単純な拡張DeepONetと比較して、どのように性能を発揮するか。
• RQ3 ブランチネットワーク間の内積接続は、PDE作用素学習における一般化性能と解の忠実度をどの程度向上させるか。
• RQ4 EDeepONetアーキテクチャは、3つ以上の入力関数を含む複雑なPDEシステムに対しても、効果的にスケーラブルに拡張可能か。

主な発見

• 拡散方程式の例では、EDeepONetは完全結合ニューラルネットワーク（FNN）と比較して、学習およびテストセットの両方で7X～17Xの高い精度を達成した。
• 対流拡散方程式では、EDeepONetはFNNと比較してテスト誤差を17.43X低減し、ベースライン拡張DeepONetと比較して2.24X低減した。
• EDeepONetはFNNよりも高速に収束し、限られたデータでも効果的な学習が可能であり、DeepONetの利点を一貫して示した。
• EDeepONetの予測解は、両方の例において真値に非常に近い結果を示し、FNNやDeepONetと比較して著しく小さい絶対誤差を示した。
• EDeepONetの階層的およびフラットな実装は、同等の性能を示しており、アーキテクチャ設計の選択に強く依存しない堅牢性を示した。
• 本手法は複数の入力関数に対しても拡張可能であり、PDEで記述される複雑な多入力物理系のモデル化に強く有望な可能性を示唆している。