[論文レビュー] Error Estimates for the Deep Ritz Method with Boundary Penalty

Johannes Müller, Marius Zeinhofer|arXiv (Cornell University)|Mar 1, 2021

Advanced Numerical Methods in Computational Mathematics被引用数 7

ひとこと要約

本稿は、ディリクレ境界条件を満たす線形楕円型PDEに対して境界ペナルティを用いたDeep Ritz法について、一般化された誤差推定を初めて提示する。収束速度は最適化の精度、ニューラルネットワークのアービトラリークラスの近似能力、およびペナルティ強度に依存する。また、滑らかな関数に対するReLUネットワークの優れた近似特性が、高次元におけるDeep Ritz法にも引き継がれることを示している。

ABSTRACT

We estimate the error of the Deep Ritz Method for linear elliptic equations. For Dirichlet boundary conditions, we estimate the error when the boundary values are imposed through the boundary penalty method. Our results apply to arbitrary sets of ansatz functions and estimate the error in dependence of the optimization accuracy, the approximation capabilities of the ansatz class and -- in the case of Dirichlet boundary values -- the penalization strength $λ$. To the best of our knowledge, our results are presently the only ones in the literature that treat the case of Dirichlet boundary conditions in full generality, i.e., without a lower order term that leads to coercivity on all of $H^1(Ω)$. Further, we discuss the implications of our results for ansatz classes which are given through ReLU networks and the relation to existing estimates for finite element functions. For high dimensional problems our results show that the favourable approximation capabilities of neural networks for smooth functions are inherited by the Deep Ritz Method.

研究の動機と目的

• 境界ペナルティ法を用いてディリクレ境界条件を満たす線形楕円型PDEを解くDeep Ritz法に対して、厳密な誤差推定を提供すること。
• 完全なH¹(Ω)空間上での下位階の強制的項を仮定しない境界ペナルティアプローチの分析により、文献における空白を埋めること。
• ペナルティ強度λが収束に与える影響、特に高次元設定における影響を定量化すること。
• 既存の理論的結果を非強制的作用素および一般化されたアービトラリークラス（ReLUニューラルネットワークを含む）へと拡張すること。
• ニューラルネットワークの近似速度とDeep Ritzフレームワークにおける誤差境界との間の関係を確立すること。

提案手法

• バナッハ空間における双線形形式、外部項、およびパラメータλを含む境界ペナルティ項を含むペナルティ付きエネルギー汎関数の最小化としてDeep Ritz法を定式化する。
• 誤差を3つの要素に分解して分析する：最適化誤差、アービトラリークラスの近似誤差、境界を正確に満たさないことに起因するペナルティ誘導誤差。
• 任意のアービトラリークラスに適用可能な一般化された枠組みを用い、特に既知の近似バウンドを用いてReLUニューラルネットワークに特化して応用する。
• 線形構造に依存しない非線形関数クラスに適応したCéaの補題の修正版を適用する。
• H¹(Ω)およびL²(∂Ω)ノルムにおける誤差バウンドを導出し、それらを正確な解の滑らかさおよびネットワークの近似能力と関連付ける。
• ネットワークの深さと幅に依存する収束速度を確立し、解の正則性が高くなるほど収束速度が向上することを示す。

実験結果

リサーチクエスチョン

• RQ1 ペナルティ強度λは、ディリクレ問題に対するDeep Ritz法の収束速度にどのように影響するか？
• RQ2 完全なH¹(Ω)空間上での強制的項を仮定しないで、境界ペナルティを用いたDeep Ritz法の誤差推定を導出可能か？
• RQ3 ReLUニューラルネットワークの近似能力は、Deep Ritz法における収束速度にどの程度反映されるか？
• RQ4 H¹(Ω)およびL²(∂Ω)ノルムにおける収束速度は、正確な解の滑らかさとどのように関係するか？
• RQ5 この理論的枠組みは、有限要素法を超えた非線形アービトラリークラス（例：深層ニューラルネットワーク）へと拡張可能か？

主な発見

• 本稿は、下位階の強制的項を仮定しない条件下でも有効な、境界ペナルティ付きDeep Ritz法の最初の一般化誤差推定を確立した。
• H¹(Ω)ノルムにおける収束は、最適化誤差、アービトラリークラスの近似誤差、およびペナルティ誘導誤差の和によって上限が与えられ、後者はλ⁻¹に比例して減少する。
• nパラメータを持つReLUネットワークの場合、H¹(Ω)誤差はn⁻(r+1)/dの速度で減少する。ここでrは解の正則性を表す。正則性が高いほど収束速度が向上する。
• L²(∂Ω)誤差はn⁻(2r+3−4ε)/(4d)の速度で減少し、境界誤差も解の滑らかさに起因して改善されることを示している。
• 最適な収束速度は、ペナルティパラメータλがh⁻¹に比例する場合に達成され、これは有限要素法と類似しているが、非線形アービトラリークラスに対しても導出された。
• 結果として、高次元におけるニューラルネットワークの優れた近似能力がDeep Ritz法でも保たれることを示しており、高次元PDEへの応用を支持する。