[論文レビュー] Extreme Theory of Functional Connections: A Physics-Informed Neural Network Method for Solving Parametric Differential Equations

Enrico Schiassi, Carl Leake+4 more|arXiv (Cornell University)|May 15, 2020

Model Reduction and Neural Networks参考文献 35被引用数 11

ひとこと要約

本稿では、パラメトリック常微分方程式（ODE）および偏微分方程式（PDE）を解くための物理的制約付きニューラルネットワーク手法であるExtreme Theory of Functional Connections（X-TFC）を紹介する。X-TFCは、1層の極端学習機械（ELM）を用いて、理論的関数結合（TFC）に基づく解析的制約をニューラルネットワークに組み込むことで、ミリ秒単位で機械精度に達する。2次元非線形PDEに対しては、最先端手法と比較して最大11桁の精度向上を達成しながら、計算コストは低く抑えられる。

ABSTRACT

In this work we present a novel, accurate, and robust physics-informed method for solving problems involving parametric differential equations (DEs) called the Extreme Theory of Functional Connections, or X-TFC. The proposed method is a synergy of two recently developed frameworks for solving problems involving parametric DEs, 1) the Theory of Functional Connections, TFC, and the Physics-Informed Neural Networks, PINN. Although this paper focuses on the solution of exact problems involving parametric DEs (i.e. problems where the modeling error is negligible) with known parameters, X-TFC can also be used for data-driven solutions and data-driven discovery of parametric DEs. In the proposed method, the latent solution of the parametric DEs is approximated by a TFC constrained expression that uses a Neural Network (NN) as the free-function. This approximate solution form always analytically satisfies the constraints of the DE, while maintaining a NN with unconstrained parameters, like the Deep-TFC method. X-TFC differs from PINN and Deep-TFC; whereas PINN and Deep-TFC use a deep-NN, X-TFC uses a single-layer NN, or more precisely, an Extreme Learning Machine, ELM. This choice is based on the properties of the ELM algorithm. In order to numerically validate the method, it was tested over a range of problems including the approximation of solutions to linear and non-linear ordinary DEs (ODEs), systems of ODEs (SODEs), and partial DEs (PDEs). Furthermore, a few of these problems are of interest in physics and engineering such as the Classic Emden-Fowler equation, the Radiative Transfer (RT) equation, and the Heat-Transfer (HT) equation. The results show that X-TFC achieves high accuracy with low computational time and thus it is comparable with the other state-of-the-art methods.

研究の動機と目的

• 既知のパラメータを有するパラメトリック微分方程式（DE）を高速かつ高精度かつ安定に解くための手法を開発すること。
• 理論的関数結合（TFC）の制約強化機能と極端学習機械（ELM）の効率性を、物理的制約付きフレームワーク内で統合すること。
• 線形および非線形ODE、ODEの連立系、およびPDEに対して、最小限の計算時間で高精度な解を得ることを可能にすること。
• 物理的制約付きニューラルネットワークの適用範囲を、リアルタイムおよび高次元問題、特に最適制御および輸送理論に拡張すること。
• 決定論的および確率的データからパラメトリックDEのデータ駆動的発見を可能にする基盤を構築すること。

提案手法

• パラメトリックDEの潜在的解は、境界条件および初期条件を解析的に満たすTFC制約付き表現によって近似される。
• TFC表現における自由関数は、極端学習機械（ELM）アルゴリズムを用いて1層の順方向ニューラルネットワーク（SLFN）としてモデル化される。
• ELMは入力重みおよびバイアスをランダムに初期化し、最小二乗法により出力重みを計算することで、反復学習を排除し、学習時間を著しく短縮する。
• 物理的制約がネットワーク構造に直接埋め込まれるため、すべての解が構造的にDE制約を満たすことが保証される。
• 制約が解析的に満たされているため、損失関数はDEの残差の最小化に特化し、ペナルティ項の必要がない。
• 本手法は2次元および3次元時間依存非線形PDEに拡張され、高次元におけるスケーラビリティおよびロバストネスが実証された。

実験結果

リサーチクエスチョン

• RQ1 1層のELMを用いた物理的制約付きニューラルネットワークは、パラメトリックODEおよびPDEを機械精度で解くことができるか？
• RQ2 非線形および高次元PDEに対して、X-TFCは最先端手法と比較して精度および計算効率の点でどのように差をつけるか？
• RQ3 X-TFCは、高精度かつ低遅延を要するリアルタイムおよび最適制御問題に効果的に応用可能か？
• RQ4 X-TFCは、ノイズが多いまたは疎なデータからパラメトリックDEのデータ駆動的発見にどの程度拡張可能か？
• RQ5 異なる活性化関数および入力重み分布は、複雑な問題におけるX-TFCの性能にどのように影響を与えるか？

主な発見

• X-TFCは、線形および非線形ODEおよびODE連立系において、ミリ秒単位で機械精度（誤差のオーダーが10^-15）を達成した。
• 2次元非線形PDEに対しては、X-TFCは最先端手法を4〜11桁の精度向上で上回り、テストセットの最大誤差が2.978 × 10^-5、平均誤差が8.082 × 10^-7であった。
• 3次元時間依存非線形PDEに対しても、高い精度と低計算コストを維持し、2次元問題を越えたスケーラビリティを実証した。
• X-TFCの性能は、古典的TFC手法と同等の精度であったが、非反復的学習によるELMのおかげで著しく短い学習時間であった。
• 本フレームワークは、リアルタイム応用（例：宇宙ミッションにおける燃料最適着陸や軌道移行の最適制御）の分野において強い可能性を示した。
• 今後の研究では、X-TFCを非長方形領域に拡張可能であり、新たな活性化関数および入力重み分布の統合によって性能を向上させられることが示唆された。