[論文レビュー] Local Randomized Neural Networks with Discontinuous Galerkin Methods for Partial Differential Equations

Jingbo Sun, Suchuan Dong+1 more|arXiv (Cornell University)|Jun 11, 2022

Model Reduction and Neural Networks被引用数 6

ひとこと要約

本稿では、部分微分方程式（PDE）を解くために、局所的ランダム化ニューラルネットワーク（LRNN）と不連続ガレルキン（DG）法を組み合わせた手法を提案する。サブドメイン上で最小二乗法による学習を実施し、界面における弱い連続性をDG法で強制する。LRNN-DGフレームワークは、同じ自由度数のもとで有限要素法や標準的なDG法よりも高い精度を達成し、楕円型（ポアソン）および放物型（熱）方程式において、優れた効率性と収束性を示す。

ABSTRACT

Randomized neural networks (RNN) are a variation of neural networks in which the hidden-layer parameters are fixed to randomly assigned values and the output-layer parameters are obtained by solving a linear system by least squares. This improves the efficiency without degrading the accuracy of the neural network. In this paper, we combine the idea of the local RNN (LRNN) and the discontinuous Galerkin (DG) approach for solving partial differential equations. RNNs are used to approximate the solution on the subdomains, and the DG formulation is used to glue them together. Taking the Poisson problem as a model, we propose three numerical schemes and provide the convergence analyses. Then we extend the ideas to time-dependent problems. Taking the heat equation as a model, three space-time LRNN with DG formulations are proposed. Finally, we present numerical tests to demonstrate the performance of the methods developed herein. We compare the proposed methods with the finite element method and the usual DG method. The LRNN-DG methods can achieve better accuracy under the same degrees of freedom, signifying that this new approach has a great potential for solving partial differential equations.

研究の動機と目的

• PDEを解くために完全に訓練されたニューラルネットワークの高い計算コストと限界的な精度を解決する。
• 隠れ層の重みをランダム化することで、従来のニューラルネットワークソルバーの非効率性と収束性の悪さを克服する。
• 局所的ニューラルネットワーク近似とDG法による弱い連続性の強制を組み合わせた領域分割フレームワークを開発する。
• 時間依存問題への拡張を図るため、時間と空間を一つのドメインとして扱う空間時間形式を用いることで、安定性と精度を向上させる。
• 提案されたLRNN-DG手法が、自由度数あたりの精度という観点で、従来の有限要素法およびDG法を上回ることを実証する。

提案手法

• 隠れ層の重みをランダムに固定し、出力層の重みを最小二乗回帰により求める、局所的ランダム化ニューラルネットワーク（LRNN）を用いる。
• 計算ドメインをサブドメインに分割し、各要素でLRNNを用いて局所的PDE解を求める。
• 内部ペナルティ不連続ガレルキン（IPDG）定式化を適用し、数値フラックスを介してサブドメイン界面における局所的LRNN解を結合する。
• ペナルティパラメータを必要とせず、$C^0$および$C^1$ DG定式化を用いて解およびその微分の弱い連続性を強制する。
• 時間と空間を一つのドメインとして扱うことで、時間依存PDEを自然に取り扱える空間時間LRNN-DGスキームを定式化する。
• アセンブルされたグローバルシステムに対して最小二乗法を用いて解くことで、安定性と効率性を確保する。

実験結果

リサーチクエスチョン

• RQ1 局所的ランダム化ニューラルネットワークにDG結合を適用した場合、楕円型PDEに対して標準的な有限要素法およびDG法よりも高い精度を達成できるか？
• RQ2 自由度数を一定に保った状態で、LRNN-DG法はFEMおよび古典的DG法と比べてどのように性能を発揮するか？
• RQ3 空間時間LRNN-DG定式化は、誤差蓄積が少ない状態で時間依存PDE（例：熱方程式）を効果的に解けるか？
• RQ4 DGフレームワーク内で$C^0$および$C^1$連続性条件を強制することで、解の精度と安定性にどのような影響を与えるか？
• RQ5 LRNN-DG法における数値誤差が特定の自由度数の閾値で停滞する理由は何か？また、その停滞をどのように緩和できるか？

主な発見

• 熱方程式に対して、$h = 2^{-9}$および$ abla t = 2^{-18}$の条件下で、$t=1$における$L^2$誤差は$1.49 \times 10^{-5}$、$H^1$誤差は$1.51 \times 10^{-4}$を達成し、同じメッシュ解像度下で後退オイラー法を用いた$P_2$ FEMを上回る性能を示した。
• 空間時間LRNN-DG法は、時間積分による誤差蓄積が最小限に抑えられており、FEMとは対照的に、時間経過に伴う誤差の著しい蓄積を示さない。
• LRNN-$C^0$ DGおよびLRNN-$C^1$ DG法は、LRNN-DGおよびFEMよりも低い絶対誤差を達成しているが、それらに比べて振幅の大きい振動を示しており、局所的精度の向上が裏付けられている。
• $C^0$および$C^1$ DG定式化においてペナルティパラメータが不要であるため、実装が簡素化され、安定性が向上している。
• LRNN-DG法は滑らかな誤差分布を維持している一方で、FEMは強い誤差蓄積を示しており、空間時間手法の優位性が顕著に現れている。
• 数値結果から、同じ自由度数のもとでLRNN-DG法がFEMおよび標準的DG法を上回る精度を達成していることが確認され、優れた効率性と近似能力を示している。