[論文レビュー] Numerical Solution and Bifurcation Analysis of Nonlinear Partial Differential Equations with Extreme Learning Machines

Gianluca Fabiani, Francesco Calabrò+2 more|arXiv (Cornell University)|Apr 13, 2021

Model Reduction and Neural Networks参考文献 69被引用数 79

ひとこと要約

本稿では、非線形偏微分方程式（PDE）の定常解および分岐ダイアグラムを計算するために、シグモイド関数および径路基底関数を用いた極端な学習マシン（ELM）を用いた新しい数値スキームを提案する。コロケーションと出力重みの1ステップ最小二乗解法を活用することで、反復的トレーニングを回避し、特にバーガー方程式やブラト–ゲルファンド方程式における急勾配および分岐点付近で、有限差分法（FD）や有限要素法（FEM）よりも高い精度を達成する。

ABSTRACT

We address a new numerical scheme based on a class of machine learning methods, the so-called Extreme Learning Machines with both sigmoidal and radial-basis functions, for the computation of steady-state solutions and the construction of (one dimensional) bifurcation diagrams of nonlinear partial differential equations (PDEs). For our illustrations, we considered two benchmark problems, namely (a) the one-dimensional viscous Burgers with both homogeneous (Dirichlet) and non-homogeneous mixed boundary conditions, and, (b) the one and two-dimensional Liouville-Bratu-Gelfand PDEs with homogeneous Dirichlet boundary conditions. For the one-dimensional Burgers and Bratu PDEs, exact analytical solutions are available and used for comparison purposes against the numerical derived solutions. Furthermore, the numerical efficiency (in terms of accuracy and size of the grid) of the proposed numerical machine learning scheme is compared against central finite differences (FD) and Galerkin weighted-residuals finite-element methods (FEM). We show that the proposed ELM numerical method outperforms both FD and FEM methods for medium to large sized grids, while provides equivalent results with the FEM for low to medium sized grids.

研究の動機と目的

• 極端な学習マシン（ELM）に基づく問題独立の数値スキームを開発し、急勾配を示す非線形PDEを解くこと。
• 分類の分野を越えて、ELMを数値解析、特にPDEの定常解に応用すること。
• 擬似弧長続行法を用いて、1次元分岐ダイアグラムを構築するELMの能力を示すこと。
• 中央有限差分法（FD）およびガレルキン有限要素法（FEM）と比較して、精度および効率の観点からELMアプローチの性能を評価すること。
• 既知の解析解および分岐点を有するベンチマーク問題（1次元の粘性バーガー方程式およびリウヴィル–ブラト–ゲルファンドPDE）を用いて、手法の妥当性を検証すること。

提案手法

• 本手法は、シグモイド関数（SF）および径路基底関数（RBF）活性化関数を用いた単一隠れ層を持つELMを用い、非線形PDEの解を近似する。
• コロケーションを領域内のトレーニングポイントに適用し、PDEおよび境界条件を強形式で強制する。
• 出力重みは1回の最小二乗解法により計算され、反復的最適化を回避し、高速な計算を実現する。
• 擬似弧長続行法をニュートン・ラプソン反復と組み合わせ、分岐点を超えて解の分岐を追跡し、分岐ダイアグラムを構築する。
• 本手法は、ディリクレ境界条件を有する1次元の粘性バーガー方程式およびリウヴィル–ブラト–ゲルファンドPDEに適用される。
• 数値的性能は、さまざまなグリッドサイズにおけるELMの結果と解析解、FD、FEMとの比較により評価される。

実験結果

リサーチクエスチョン

• RQ1 ELMは、バーガー方程式やブラト–ゲルファンド方程式に見られるような急勾配を示す非線形PDEの定常解を効果的に近似できるか？
• RQ2 中〜大規模グリッドサイズ（N≥196）において、中央有限差分法（FD）およびガレルキン有限要素法（FEM）と比較して、ELMベースのコロケーション法の精度および効率はどのように異なるか？
• RQ3 ELMは、分岐点を超えて解を追跡することができる数値続行技術と効果的に統合できるか？
• RQ4 活性化関数の種別（シグモイド関数対RBF）が、非線形PDEに対するELM解の収束性および精度に与える影響は何か？
• RQ5 パラメータ依存PDEの臨界点（限界点）付近でも、ELMアプローチは高い精度を維持できるか？

主な発見

• 2次元ブラト問題において、ELM法は文献値6.808124と比較して約0.01％の相対誤差でλ ≈ 6.8069の分岐点を推定した。
• 径路基底関数（RBF）活性化関数を用いたELMは、λ=1の径路ゲルファンド–ブラト問題においてN=1600ノードでL2誤差1.2×10−10を達成し、FDおよびFEMを上回った。
• 1次元バーガー方程式において、ELMは40×40グリッドで解析解とL2誤差10−10未満で一致したが、FDおよびFEMはより高い誤差を示した。
• 中〜大規模グリッドサイズ（N≥196）において、ELM法は分岐点の位置の近似精度が優れており、FDおよびFEMを上回った。
• ELM法は境界付近の急勾配を効果的に捉えることができ、FDスキームが解像度が不足しているために失敗した領域でも良好な性能を示した。
• FEMに比べてELMの実装ははるかに単純であり、特に高解像度領域において同等またはより高い精度を達成した。