[論文レビュー] Extreme learning machine collocation for the numerical solution of elliptic PDEs with sharp gradients

Francesco Calabrò, Gianluca Fabiani+1 more|arXiv (Cornell University)|Dec 10, 2020

Model Reduction and Neural Networks参考文献 61被引用数 79

ひとこと要約

本稿では、シグモイド活性化関数を用いた1層隠れ層型フィードフォワードネットワークの内部重みおよびバイアスを固定することにより、境界層を含む急勾配を示す1次元楕円型PDEを解くための極端な学習機械（ELM）コロケーション法を提案する。本手法はネットワーク学習を回避し、線形最小二乗問題を解くことで、誤差とコストの両面で有限差分法を上回る高い精度と計算効率を達成する。

ABSTRACT

We introduce a new numerical method based on machine learning to approximate the solution of elliptic partial differential equations with collocation using a set of sigmoidal functions. We show that a feedforward neural network with a single hidden layer with sigmoidal functions and fixed, random, internal weights and biases can be used to compute accurately a collocation solution. The choice to fix internal weights and bias leads to the so-called Extreme Learning Machine network. We discuss how to determine the range for both internal weights and biases in order to obtain a good underlining approximating space, and we explore the required number of collocation points. We demonstrate the efficiency of the proposed method with several one-dimensional diffusion-advection-reaction problems that exhibit steep behaviors, such as boundary layers. The boundary conditions are imposed directly as collocation equations. We point out that there is no need of training the network, as the proposed numerical approach results to a linear problem that can be easily solved using least-squares. Numerical results show that the proposed method achieves a good accuracy. Finally, we compare the proposed method with finite differences and point out the significant improvements in terms of computational cost, thus avoiding the time-consuming training phase.

研究の動機と目的

• 境界層を含む急勾配を示す楕円型PDEを数値的に解く課題に取り組む。特に、有限差分法などの古典的手法は不安定性や振動を示すことがある。
• 極端な学習機械（ELM）が微分方程式を解く応用可能性を検討する。特に、従来のELM手法が急勾配の近似に失敗する場合に有効であるかを検討する。
• 内部重みおよびバイアスを事前に固定するコロケーションに基づくELMフレームワークを構築し、ネットワーク学習の必要性を排除しながら高い精度を維持する。
• 解析解が既知のベンチマーク問題、特に櫛状プロファイルおよび高Péclet数を示す問題に対して、本手法の頑健性と効率性を実証する。
• 高次の有限差分法（FDM）と比較し、誤差と計算コストの両面で本手法の改善を定量的に評価する。

提案手法

• シグモイド活性化関数 σ(x) = 1 / (1 + exp(−x)) を用いた1層隠れ層型フィードフォワードニューラルネットワークを用い、内部重み αi およびバイアス βi をランダムに選択し固定する。
• 解をシグモイド関数の線形結合として構築する：G(x) = Σ wi σ(αi x + βi)，ここで出力重み wi のみをコロケーションにより学習する。
• 境界条件を境界点におけるコロケーション方程式として直接適用し、ディリクレ条件の正確な満たしを保証する。
• M 個のコロケーション点でPDEを強制することで線形方程式系を構築し、劣微小系として最小二乗法により解く。
• 解の急勾配領域を十分にカバーできるように、内部重みおよびバイアスの範囲を事前に決定する。
• ill-conditioning を回避し、特に n が大きい場合の数値的安定性を向上させるために、劣微小コロケーションスキーム（M < n）を用いる。

実験結果

リサーチクエスチョン

• RQ1 内部重みおよびバイアスを固定したELMネットワークは、従来の手法と比較して、急勾配を示す楕円型PDEの解をより効果的に近似できるか？
• RQ2 内部重みおよびバイアスの範囲の選択が、ELMベースのコロケーション手法の近似品質にどのように影響するか？
• RQ3 高精度を達成しつつill-conditioning を避けるために、コロケーション点数 M とニューロン数 n の最適な相対関係は何か？
• RQ4 境界層を含む問題において、ELMコロケーション手法は高次の有限差分法（FDM）と比較して、誤差と計算コストの両面で優れているか？
• RQ5 固定された、学習不能なネットワークアーキテクチャを用いても、ELMコロケーション手法は、極めて高周波の振動的または櫛状の解を最小限の誤差で捉えることができるか？

主な発見

• 提案されたELMコロケーション手法は、境界層を含む1次元楕円型PDEを解く際に高い精度を達成し、Péclet数が500までの問題においてL2誤差が10−10未満に抑えられる。
• 10個のゼロと5回の振動を示す櫛状解（ε = 1/(10π)）に対して、n = 1280 個のニューロンと M = n/2 個のコロケーション点を用いて、L∞誤差が10−6未満に抑えられた。
• 高Péclet数および急勾配を示す問題において、高次の有限差分法（FDM）と比較して、誤差と計算コストの両面で本手法が優れている。
• ELM解はC∞級に滑らかであるのに対し、FDM解は通常、区分的多項式であり、滑らかさに劣る。
• コロケーション点数 M を M = n/2 にまで削減しても、本手法は安定かつ正確に保たれ、劣微小性に対する頑健性を示す。
• ネットワーク学習が存在しないため、標準的なANNベースのソルバーと比較して計算コストが著しく低減され、繰り返しまたは高速な解が必要な問題に非常に効率的である。