[論文レビュー] Error analysis for deep neural network approximations of parametric hyperbolic conservation laws

Tim De Ryck, Siddhartha Mishra|arXiv (Cornell University)|Jul 15, 2022

Model Reduction and Neural Networks被引用数 7

ひとこと要約

この論文は、パrametricな双曲型スカラー保存則を近似するReLU深層ニューラルネットワーク（DNN）の最初の厳密な誤差解析を提供する。DNNがパrameter空間および学習サンプル数の次元において次元の呪いを克服することを証明し、近似誤差および一般化誤差の明示的で多項式的（指数的ではなく）に増加する境界を示している。

ABSTRACT

We derive rigorous bounds on the error resulting from the approximation of the solution of parametric hyperbolic scalar conservation laws with ReLU neural networks. We show that the approximation error can be made as small as desired with ReLU neural networks that overcome the curse of dimensionality. In addition, we provide an explicit upper bound on the generalization error in terms of the training error, number of training samples and the neural network size. The theoretical results are illustrated by numerical experiments.

研究の動機と目的

• パrametricな双曲型スカラー保存則の深層ニューラルネットワーク近似の厳密な理論的誤差境界を提供すること。
• ReLUニューラルネットワークが初期条件およびフラックス関数のパrameter空間において次元の呪いを克服できることを示すこと。
• 学習誤差、学習サンプル数、ネットワークサイズの観点から、一般化誤差の明示的かつ計算可能な上界を導出すること。
• 数値実験を通じて理論的結果を検証し、多項式的誤差増加および収束する一般化ギャップを示すこと。

提案手法

• エントロピー解の安定な数値近似を構築するために、Lax-Friedrichs差分スキームを用いる。
• 双曲型保存則の安定性結果およびLax-Friedrichs法の収束推定を適用して、解の近似誤差を境界づける。
• ニューラルネットワーク近似理論を用いて、真の解とDNN近似との間の誤差を境界づけ、重みおよびバイアスが有界のまま保たれることを保証する。
• 文献[20]の一般化誤差境界をパrametric保存則の文脈に適応し、一般化ギャップの計算可能な上界を導出する。
• 初期データのパrametric性およびフラックス関数のパrametric性の両方を考慮し、やや弱い仮定のもとで誤差境界が成り立つことを証明する。
• 系を用いて、空間時間DNN近似および多次元スカラー保存則へと結果を拡張する。

実験結果

リサーチクエスチョン

• RQ1 ReLUニューラルネットワークは、パrameter空間における次元の呪いを被ることなく、パrametricな双曲型スカラー保存則の解を近似できるか？
• RQ2 DNN近似誤差がネットワークサイズおよびパラメータ次元にどのように依存するか？
• RQ3 学習誤差、学習サンプル数、ネットワークサイズの観点から、一般化誤差の計算可能な上界を導出できるか？
• RQ4 実際には、パラメータ次元および学習データセットサイズを増加させた際に、学習誤差および一般化誤差はどのようにスケーリングするか？
• RQ5 理論的誤差境界は、数値実験における経験的観察とどの程度一致するか？

主な発見

• ReLUニューラルネットワークは、パラメータ次元に関して多項式的増加する誤差境界を有するため、パラメータ次元における次元の呪いを克服できる。
• 近似誤差はネットワークサイズに関して明示的に境界づけられており、境界の重みおよびバイアスは所望の精度に依存しない。
• 一般化誤差の計算可能な上界が導出され、学習サンプル数が増加するにつれて一般化ギャップが減少することが示された。
• 数値実験により、学習誤差および一般化誤差がパラメータ次元に関して多項式的増加すること、およびより大きな学習データセットで一般化ギャップがゼロに収束することが確認された。
• 理論的一般化誤差境界は、経験的に観察された誤差よりも著しく大きいことから、よりタイトな理論的推定の余地があることが示された。
• 空間時間DNN近似および多次元スカラー保存則へも結果が拡張されており、系を用いて対応する誤差境界が確立された。