[論文レビュー] A Discontinuity Capturing Shallow Neural Network for Elliptic Interface Problems

Wei-Fan Hu, Te‐Sheng Lin+1 more|arXiv (Cornell University)|Jun 10, 2021

Model Reduction and Neural Networks参考文献 19被引用数 10

ひとこと要約

本稿では、解およびその微分におけるジャンプ不連続性を有する楕円型界面問題を解くための不連続性捕捉型浅層ニューラルネットワーク（DCSNN）を提案する。部分領域を表す追加座標を領域に付加することで、元の区分連続問題を(d+1)次元空間における連続問題に変換し、卤層ネットワークによる高精度な近似を可能にする。本手法はわずか数 hundred のパラメータで高い精度を達成し、従来の埋め込み界面法（IIM）を上回る性能を示しており、6次元までの高次元問題に対しても有効である。

ABSTRACT

In this paper, a new Discontinuity Capturing Shallow Neural Network (DCSNN) for approximating $d$-dimensional piecewise continuous functions and for solving elliptic interface problems is developed. There are three novel features in the present network; namely, (i) jump discontinuities are accurately captured, (ii) it is completely shallow, comprising only one hidden layer, (iii) it is completely mesh-free for solving partial differential equations. The crucial idea here is that a $d$-dimensional piecewise continuous function can be extended to a continuous function defined in $(d+1)$-dimensional space, where the augmented coordinate variable labels the pieces of each sub-domain. We then construct a shallow neural network to express this new function. Since only one hidden layer is employed, the number of training parameters (weights and biases) scales linearly with the dimension and the neurons used in the hidden layer. For solving elliptic interface problems, the network is trained by minimizing the mean square error loss that consists of the residual of the governing equation, boundary condition, and the interface jump conditions. We perform a series of numerical tests to demonstrate the accuracy of the present network. Our DCSNN model is efficient due to only a moderate number of parameters needed to be trained (a few hundred parameters used throughout all numerical examples), and the results indicate good accuracy. Compared with the results obtained by the traditional grid-based immersed interface method (IIM), which is designed particularly for elliptic interface problems, our network model shows a better accuracy than IIM. We conclude by solving a six-dimensional problem to demonstrate the capability of the present network for high-dimensional applications.

研究の動機と目的

• 楕円型界面問題の解におけるジャンプ不連続性を高精度に捉えるメッシュフリーで浅層的なニューラルネットワークの開発。
• 非滑らかで微分が不連続な解を扱う際の深層ネットワークおよび従来手法の限界を克服すること。
• 浅層アーキテクチャと線形パラメータスケーリングを活用することで、高次元楕円型PDEの効率的解法を可能にすること。
• 深層スタックを避けつつも高い精度を維持するシンプルで解釈可能なニューラルネットワークアーキテクチャの提供。
• 不規則な領域および高次元問題（最大d=6）において本手法のロバスト性を実証すること。

提案手法

• d次元問題領域に部分領域を識別する追加座標を追加し、区分連続関数を(d+1)次元空間における連続関数に変換する。
• 増強された連続関数を近似するため、1層のみの隠れ層を持つ浅層的で全結合型の順伝播ニューラルネットワークを構築する。
• PDEの残差、境界条件、界面におけるジャンプ条件を組み合わせた物理に基づいた損失関数を最小化することでネットワークを学習させる。
• 普遍近似定理の議論を用いて、ネットワークが増強関数を高精度で表現可能であることを正当化する。
• 隠れ層のニューロン数を増やすことで近似精度を制御するが、深さを増さない。
• メッシュフリーなアプローチを実装し、領域の離散化を回避することで、複雑で高次元の領域への適用を可能にする。

実験結果

リサーチクエスチョン

• RQ1 1層のみの浅層ニューラルネットワークが、ジャンプ不連続性を有する区分連続関数を高精度に近似できるか？
• RQ2 提案されたDCSNN手法が、埋め込み界面法（IIM）のような従来のメッシュベース手法を上回る性能を示せるか？
• RQ3 従来手法が次元の呪いに苦しむ高次元問題（例：d=6）において、DCSNNはどのように性能を発揮するか？
• RQ4 DCSNNのメッシュフリーかつパラメータ効率の良いアーキテクチャは、わずか数 hundred のトレーニング可能なパラメータで精度を維持できるか？
• RQ5 高次元設定におけるDCSNNの学習挙動および収束速度はどのように変化するか？

主な発見

• 2次元界面問題において、DCSNNは220,1776自由度で最大絶対誤差3.276×10⁻⁵を達成し、IIMを上回った。
• 3次元問題では、17,194,216自由度でL²誤差5.809×10⁻⁷を達成し、中程度のパラメータ数で高い精度を示した。
• 6次元楕円型界面問題においては、たった91のトレーニング可能なパラメータ（N=10）でL∞誤差1.689×10⁻⁴を達成し、高次元への強力なスケーラビリティを示した。
• 学習損失およびL∞誤差は100イテレーション以内にプラトーに達し、収束が速いことが示されたが、高次元性に起因してさらなる改善は限定的であった。
• 訓練点を増加させても精度が維持されることから、収束はデータ量ではなく次元性に起因する制限によって制限されていることが示された。
• 6次元問題を解く際、DCSNNモデルは451パラメータ（N=50）で十分に高い精度を達成し、従来手法と比較して顕著なパラメータ効率を示した。