[論文レビュー] dNNsolve: an efficient NN-based PDE solver

Veronica Guidetti, Francesco Muia+2 more|arXiv (Cornell University)|Jan 1, 2021

Model Reduction and Neural Networks参考文献 54被引用数 6

ひとこと要約

dNNsolveは、ハイパーパramータの微調整を必要とせず、1次元、2次元、3次元の広範な常微分方程式（ODE）および偏微分方程式（PDE）を効率的に解く、二重ニューラルネットワークを用いた新規な物理情報付きニューラルネットワークソルバーである。周期的および非周期的基底関数を適応的に組み合わせる専用アーキテクチャを活用することで、1次元問題では10⁻⁵未塔、2次元および3次元問題では10⁻⁶未塔の高い精度を達成する。

ABSTRACT

Neural Networks (NNs) can be used to solve Ordinary and Partial Differential Equations (ODEs and PDEs) by redefining the question as an optimization problem. The objective function to be optimized is the sum of the squares of the PDE to be solved and of the initial/boundary conditions. A feed forward NN is trained to minimise this loss function evaluated on a set of collocation points sampled from the domain where the problem is defined. A compact and smooth solution, that only depends on the weights of the trained NN, is then obtained. This approach is often referred to as PINN, from Physics Informed Neural Network~\cite{raissi2017physics_1, raissi2017physics_2}. Despite the success of the PINN approach in solving various classes of PDEs, an implementation of this idea that is capable of solving a large class of ODEs and PDEs with good accuracy and without the need to finely tune the hyperparameters of the network, is not available yet. In this paper, we introduce a new implementation of this concept - called dNNsolve - that makes use of dual Neural Networks to solve ODEs/PDEs. These include: i) sine and sigmoidal activation functions, that provide a more efficient basis to capture both secular and periodic patterns in the solutions; ii) a newly designed architecture, that makes it easy for the the NN to approximate the solution using the basis functions mentioned above. We show that dNNsolve is capable of solving a broad range of ODEs/PDEs in 1, 2 and 3 spacetime dimensions, without the need of hyperparameter fine-tuning.

研究の動機と目的

• 広範なODEおよびPDEを、ハイパーパramータの微調整を最小限に抑えて効率的に処理できるニューラルネットワークベースのPDEソルバーを開発すること。
• 二重ネットワークアーキテクチャにおいて正弦関数とシグモイド活性化関数を組み合わせることで、解の精度と表現効率を向上させること。
• 正弦関数活性化関数によって生じる損失関数の局所的最小値の収束問題を、損失成分の適応的重み付けによって解消すること。
• 格子化されたデータを保存する必要がないため、従来の差分法（FD）および有限要素法（FEM）と比較して、メモリおよび計算コストを削減すること。
• 最小限のユーザー介入で、複数の時空間次元において汎用的かつロバストにODEおよびPDEを解けるソルバーを実現すること。

提案手法

• dNNsolveは、周期的パターンを捉えるために正弦関数活性化関数を使用するネットワークブランチと、定常的または非周期的挙動を表現するためのシグモイド活性化関数を使用するもう一方のブランチを並列に採用する。
• 二つのブランチの出力を要素ごとの乗算によって結合し、より豊かで適応的な解の表現のための基底関数を形成する。
• 特定の問題に対して最も関連性の高い基底関数（正弦関数、シグモイド関数、またはその積）を学習できるように、カスタムネットワークアーキテクチャを設計した。
• 損失関数は、ドメイン内のPDEの二乗残差、初期条件、境界条件を組み合わせており、寄与度を調整するための重みα₀とα∂Ωを備え、収束性を向上させる。
• バックプロパゲーションを用いて総損失を最小化する訓練が行われ、最終的な解はすべて訓練済みのネットワーク重みに符号化される。
• 本手法は、1次元、2次元、3次元のODEおよびPDE、特に調和振動子、バーガース方程式、熱方程式および波動方程式、渇きの渦度方程式などに対して評価された。

実験結果

リサーチクエスチョン

• RQ1 正弦関数およびシグモイド活性化関数を用いた二重NNアーキテクチャは、ODEおよびPDEにおける周期的および定常的解成分を効果的に表現できるか？
• RQ2 dNNsolveは、ハイパーパramータの微調整を必要とせず、1次元、2次元、3次元の多様なODEおよびPDEにおいて高い精度を達成できるか？
• RQ3 適応的損失重み付け（α₀、α∂Ω）は、複雑な境界条件を有する問題における収束性および解の品質にどのように影響するか？
• RQ4 標準的なPINN手法と比較して、dNNsolveはベンチマークPDEにおいて、精度およびメモリ効率の面でどれほど優れているか？
• RQ5 dNNsolveは、境界値問題（例：オシロコンプロファイル）や3次元PDEなど、挑戦的な問題を、最小限のユーザー入力で高精度に解けるか？

主な発見

• 調和振動子およびその減衰版を含む1次元問題では、dNNsolveが10⁻⁵未塔の平均二乗誤差を達成し、オシロコンプロファイル解は10⁻⁵未塔の精度に達した。
• 2次元PDE、特に熱方程式および波動方程式において、有利な条件下では10⁻⁶未塔の精度を達成したが、熱方程式を除き、すべての結果が10⁻⁴未塔であった。
• 3次元では、渇きの渦度方程式および他のPDEを成功裏に解いたが、精度は10⁻⁴未塔であった。ただし、最適なハイパーパramータα₀およびα∂Ωは問題ごとに選択する必要があり、高次元ではやや微調整が必要であることが示された。
• ネットワークは正弦関数およびシグモイドブランチを動的に活用しており、重複するニューロンがノイズを発生させ、わずかに精度を低下させる傾向にあり、今後の研究でプルーニングや正則化の必要性が浮き彫りになった。
• dNNsolveは、剛性や遅延を伴うODE、および通常シューティング法で解かれる境界値問題を含む、広範な問題においてロバストに収束することを示した。
• 本手法は、格子化された離散化グリッドを保存する必要がないため、ネットワークアーキテクチャおよび訓練済み重みのみを保存すればよく、従来のFD/FEMソルバーと比較して顕著なメモリ複雑度の低減が達成された。