[論文レビュー] Solving Differential Equation with Constrained Multilayer Feedforward Network

Zeyu Liu, Yantao Yang+1 more|arXiv (Cornell University)|Apr 14, 2019

Model Reduction and Neural Networks参考文献 23被引用数 7

ひとこと要約

本稿では、境界条件をモデル構造に直接埋め込むことで、常微分方程式（ODE）および偏微分方程式（PDE）を高い精度で解くための制約付き多層フィードフォワードネットワーク（CMFN）手法を提案する。解を境界項と重み変更付きボリューム項に分離することで、境界条件の正確な満たしを保証し、残差誤差の制約のない最適化を可能にし、ペナルティに基づくニューラルソルバーに比べて顕著に精度が向上する。

ABSTRACT

In this paper, we present a novel framework to solve differential equations based on multilayer feedforward network. Previous works indicate that solvers based on neural network have low accuracy due to that the boundary conditions are not satisfied accurately. The boundary condition is now inserted directly into the model as boundary term, and the model is a combination of a boundary term and a multilayer feedforward network with its weight function. As the boundary condition becomes predefined constraintion in the model itself, the neural network is trained as an unconstrained optimization problem. This leads to both ease of training and high accuracy. Due to universal convergency of multilayer feedforward networks, the new method is a general approach in solving different types of differential equations. Numerical examples solving ODEs and PDEs with Dirichlet boundary condition are presented and discussed.

研究の動機と目的

• 境界条件の不正確な強制によるニューラルネットワークソルバーの低精度を是正すること。
• ODE/PDEの解においてディリクレ境界条件を正確に満たす一般用途の手法を開発すること。
• 制約付き問題を制約のない最適化タスクに変換することで、学習効率と解の精度を向上させること。
• 複雑な境界条件を有する線形および非線形PDEに対して、本手法の有効性を示すこと。
• 再設定を必要とせず、双曲型、放物型、楕円型PDEに広く適用可能な統一フレームワークを提供すること。

提案手法

• 解を、ディリクレ条件を満たす事前に定義された境界項と、多層フィードフォワードネットワーク（MFN）でモデル化されたボリューム項に分解する。
• ボリューム項は、ドメイン上での微分方程式の残差を最小化するように学習され、境界条件は構造上既に満たされている。
• 境界項は、与えられたディリクレデータと一致するように明示的に構築され、境界制約の内在的満たしを保証する。
• 損失関数は、境界項を除いた低次元問題の残差にのみ依存するため、制約のない最適化が可能になる。
• 自動微分を用いて残差評価に必要な導関数を計算し、ニューラルネットワーク構造と互換性を保つ。
• 標準的な最適化手法を用いてMFNを学習し、解析的解をターゲット分布とする学習タスクとして扱う。

実験結果

リサーチクエスチョン

• RQ1 ペナルティ項による近似ではなく、境界条件を正確に満たすニューラルネットワークフレームワークを設計できるか？
• RQ2 境界条件をモデル構造に直接埋め込むことは、学習の安定性および解の精度にどのように影響するか？
• RQ3 提案されたCMFN手法は、最小限のネットワーク深さおよび少量の学習データセットでも高い精度を達成できるか？
• RQ4 本手法は、楕円型、放物型、双曲型方程式を含むさまざまな種類のPDEに一般化可能か？
• RQ5 同様の頑健性を示せるように、NeumannまたはRobin境界条件に対してもフレームワークを拡張可能か？

主な発見

• ラプラス方程式を解く際、CMFN手法は平均誤差2.6×10⁻⁵を達成した。これは、ペナルティ法を用いたPINN手法の1.6×10⁻³誤差よりも顕著に低い。
• 対流拡散方程式では、CMFN手法が平均誤差8.57×10⁻⁴を達成し、非線形問題に対しても高い精度を示した。
• CMFN手法では境界条件が正確に満たされたが、PINN手法では特にコーナー部で顕著な違反が見られた。
• 従来の反復的手法とは異なり、大きなドメインや長い時間スパンにおいても、切断誤差の蓄積なしに高い精度を維持した。
• ランダム初期化および非ゼロの最終損失にもかかわらず、目的関数の連続性と損失最小化に伴う誤差の単調減少により、全体的な解の挙動は制御可能であった。
• 4層、20ニューロンのネットワークと1000未満の学習ポイントのみを用いて、熱方程式や対流拡散方程式を含む線形および非線形PDEを成功裏に解いた。