[論文レビュー] Galerkin Neural Networks: A Framework for Approximating Variational Equations with Error Control

Mark Ainsworth, Justin Dong|arXiv (Cornell University)|May 28, 2021

Model Reduction and Neural Networks参考文献 23被引用数 4

ひとこと要約

本稿では、変分方程式をガラーキン近似によって解くために、ニューラルネットワークの実現を用いて段階的に有限次元部分空間を構築する、新しいフレームワーク「ガラーキンニューラルネットワーク」を提案する。ニューラルネットワークを用いて誤差指標を適応的に学習し、それを基底関数として用いることで、多様な偏微分方程式（特異問題や高階問題を含む）において、最小限の修正で誤差制御可能な収束を達成する。

ABSTRACT

We present a new approach to using neural networks to approximate the solutions of variational equations, based on the adaptive construction of a sequence of finite-dimensional subspaces whose basis functions are realizations of a sequence of neural networks. The finite-dimensional subspaces are then used to define a standard Galerkin approximation of the variational equation. This approach enjoys a number of advantages, including: the sequential nature of the algorithm offers a systematic approach to enhancing the accuracy of a given approximation; the sequential enhancements provide a useful indicator for the error that can be used as a criterion for terminating the sequential updates; the basic approach is largely oblivious to the nature of the partial differential equation under consideration; and, some basic theoretical results are presented regarding the convergence (or otherwise) of the method which are used to formulate basic guidelines for applying the method.

研究の動機と目的

• ニューラルネットワークによるPDE近似において、ネットワークサイズを増加させても相対誤差が通常0.1–1.0%で頭打ちとなる現象を是正すること。
• 再訓練を伴わず、大規模ネットワークを再構築することなく、ニューラルネットワーク近似を体系的かつ適応的に改善するフレームワークの構築。
• 理論的裏付けを持ち、PDEに依存しない方法を提供すること。誤差はニューラルネットワーク補正から導かれる後験的推定により制御される。
• 2次および4次方程式を含む、異なる空間次元や特異データを有する多様なPDEタイプにスムーズに適用可能であること。

提案手法

• 本手法は、弱い残差の双対表現を近似するように訓練されたニューラルネットワークを用いて、ガラーキン近似の基底関数を形成することで、有限次元部分空間の系列を構築する。
• 各新しい基底関数は、エネルギーノルムにおける残差を最大化する変分問題を解くことで得られ、主要な誤差成分を捉える。
• 誤差は後験的誤差指標 η(u_{i−1}, φ_i^{NN}) を用いて推定され、これが真のエネルギーノルム誤差 |||u − u_{i−1}||| と等価であることが示されている。
• ニューラルネットワークは、学習率を段階的に減少させ、幅を増加させること（n_i = 20 × 2^{i−1}）で繰り返し訓練され、ボックス初期化と固定された数値積分則が用いられる。
• ガラーキン解は u_i = u_{i−1} + α_i φ_i^{NN} として更新され、α_i は現在の部分空間内で残差を最小化するガラーキン射影により計算される。
• 本手法はPDEの種別、次数、空間次元に依存せず、安定な変分定式化と数値積分則の存在に依存する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークを、ガラーキン法における有限次元部分空間の拡張に体系的に用いることで、大規模ネットワークの再訓練なしに近似精度を向上させることは可能か？
• RQ2 ニューラルネットワーク実現からどのように後験的誤差推定を構築し、適応的グリッド refinement や停止基準を導けるか？
• RQ3 本フレームワークは、高階および特異問題を含む多様なPDEに、アーキテクチャ的・アルゴリズム的変更なしに一貫して適用可能か？
• RQ4 誤差指標 η(u_{i−1}, φ_i^{NN}) は真のエネルギーノルム誤差 |||u − u_{i−1}||| を信頼性高く反映しており、収束の監視に有効か？
• RQ5 標準的手法がしばしば頭打ちとなる、点荷重を受けるビハーモニック方程式のような挑戦的なPDEにおいて、本手法が1%未満の相対誤差を達成できるか？

主な発見

• 本手法は、2次および4次方程式を含む多様なPDEにおいて、安定した収束を達成した。特に、対数的特異性を示す点荷重を受けるビハーモニック方程式に対しても有効であった。
• 推定誤差 η(u_{i−1}, φ_i^{NN}) は真のエネルギーノルム誤差 |||u − u_{i−1}||| をよく追跡しており、信頼性の高い後験的誤差指標としての有効性が裏付けられた。
• ε₁ = ε₂ = 10⁻⁵ のビハーモニック問題において、5回のグリッド refinement により、L²ノルムおよびエネルギーノルムの両方で最終許容誤差 tol = 5×10⁻³ を達成した。
• 特異データおよび境界条件に対しても、数値的不安定性を示さず、2次元円形板に点荷重を加えた例でも安定に処理された。
• ネットワーク幅の増加（n_i = 20×2^{i−1}）と学習率の減少（α_i = 10⁻² / 1.1^{i−1}）により、反復全体にわたり安定かつ高精度なグリッド refinement が達成された。
• 本フレームワークはPDEに依存しない：有限要素法とは異なり、PDEの種別や空間次元を変更する際の構造的変更は一切不要であった。