[論文レビュー] A Local Deep Learning Method for Solving High Order Partial Differential Equations

Quanhui Zhu, Yang Jiang|arXiv (Cornell University)|Mar 16, 2021

Model Reduction and Neural Networks被引用数 7

ひとこと要約

本稿では、中間変数を用いて高次偏微分方程式（PDE）を1階微分方程式系に再定式化する局所的ディープラーニング手法を提案する。これにより、高次導関数の計算を回避し、マルチアウトプットニューラルネットワークを用いた安定的かつ効率的な学習が可能になる。標準的なディープガレルキン法と比較して、高次元問題において優れた収束性とロバスト性を示す。

ABSTRACT

At present, deep learning based methods are being employed to resolve the computational challenges of high-dimensional partial differential equations (PDEs). But the computation of the high order derivatives of neural networks is costly, and high order derivatives lack robustness for training purposes. We propose a novel approach to solving PDEs with high order derivatives by simultaneously approximating the function value and derivatives. We introduce intermediate variables to rewrite the PDEs into a system of low order differential equations as what is done in the local discontinuous Galerkin method. The intermediate variables and the solutions to the PDEs are simultaneously approximated by a multi-output deep neural network. By taking the residual of the system as a loss function, we can optimize the network parameters to approximate the solution. The whole process relies on low order derivatives. Numerous numerical examples are carried out to demonstrate that our local deep learning is efficient, robust, flexible, and is particularly well-suited for high-dimensional PDEs with high order derivatives.

研究の動機と目的

• PDEのディープラーニングにおける高次導関数の計算の非現実的さと不安定性に対処すること。
• 特にカーン＝ヒリャード方程式のような相場のフィールド方程式において顕著なパラメータスケーリング問題と学習の不安定性を克服すること。
• 高次導関数を伴う高次元PDEのためのロバストでスケーラブルなディープラーニングフレームワークを開発すること。
• 変数の置換による導関数の次数低減を通じて、学習効率と収束性を向上させること。

提案手法

• 各導関数次数に対して中間変数を導入することで、元の高次PDEを1階PDEの連立系に再定式化する。
• 解およびすべての中間変数を同時に近似するマルチアウトプットディープニューラルネットワークを用いる。
• 損失関数を全系のL2残差として定式化し、高次導関数の直接計算を回避する。
• 1階導関数での自動微分に依存する標準的な最適化手法を用いてネットワークを学習する。
• 局所不連続ガレルキン（LDG）法の構造を基に、変数の導入と系の定式化をガイドする。
• 適応的学習率とネットワーク幅の調整を伴い、熱方程式や相場フィールドモデルを含む高次元PDEに本手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 高次導関数の計算を伴わずに、ディープラーニングで高次PDEを効率的に解くことは可能か？
• RQ2 中間変数の導入は、高次元PDEにおける学習の安定性と収束性を向上させるか？
• RQ3 標準的なディープガレルキン法と比較して、提案手法の精度と計算コストはいかがなっているか？
• RQ4 微小パラメータεを伴うカーン＝ヒリャード方程式のような困難な問題を処理できるか？
• RQ5 導関数次数の低減は、PDEのディープラーニングにおける勾配消失または爆発問題を緩和するか？

主な発見

• 局所的ディープガレルキン法（LDGM）は、5次元熱方程式において安定的かつ高速に収束するが、標準的なディープガレルキン法（DGM）は50,000イテレーション経過後も収束しない。
• LDGMは学習中の誤差減少が著しく速く、限られたネットワーク容量でも相対L2誤差が急速に低下する。
• 5次元熱方程式において、LDGMはDGMと比較して50,000イテレーションで相対L2誤差を90%以上削減し、計算時間も50%短縮する。
• 本手法はカーン＝ヒリャード方程式を正常に解くことができ、従来のディープラーニング手法では高次導関数と微小なεのため収束しなかった。
• 中間変数の使用により、高次自動微分の必要がなくなり、テストされた設定ではメモリと計算コストが最大80%まで削減される。
• ネットワークの深さ、幅、サンプリングノード数の増加によりさらに精度が向上することから、複雑な領域に対してもスケーラブルかつ適応可能であることが示された。