[论文解读] Error analysis for deep neural network approximations of parametric hyperbolic conservation laws

Tim De Ryck, Siddhartha Mishra|arXiv (Cornell University)|Jul 15, 2022

Model Reduction and Neural Networks被引用 7

一句话总结

本文首次为逼近参数化双曲标量守恒律解的ReLU深度神经网络（DNNs）提供了严格的误差分析。证明了DNN在参数空间和训练样本数量上均克服了维度灾难，近似误差和泛化误差的显式界随维度呈多项式增长而非指数增长。

ABSTRACT

We derive rigorous bounds on the error resulting from the approximation of the solution of parametric hyperbolic scalar conservation laws with ReLU neural networks. We show that the approximation error can be made as small as desired with ReLU neural networks that overcome the curse of dimensionality. In addition, we provide an explicit upper bound on the generalization error in terms of the training error, number of training samples and the neural network size. The theoretical results are illustrated by numerical experiments.

研究动机与目标

• 为参数化双曲标量守恒律的深度神经网络近似提供严格的理论误差界。
• 证明ReLU神经网络可在初始条件和通量函数的参数空间中克服维度灾难。
• 推导出泛化误差的显式、可计算上界，其表达式基于训练误差、训练样本数量和网络规模。
• 通过数值实验验证理论结果，显示误差增长为多项式，且泛化差距趋于收敛。

提出的方法

• 使用Lax-Friedrichs有限差分格式构建熵解的稳定数值近似。
• 应用双曲守恒律的稳定性结果以及Lax-Friedrichs方法的收敛性估计，以界定解的近似误差。
• 运用神经网络逼近理论界定真实解与DNN近似之间的误差，确保权重和偏置有界。
• 将[20]中的泛化误差界结果适配至参数化守恒律的语境，推导出泛化差距的可计算上界。
• 同时考虑参数化初值数据和参数化通量函数，在较弱假设下证明误差界成立。
• 通过推论将结果扩展至时空DNN近似和多维标量守恒律。

实验结果

研究问题

• RQ1 ReLU神经网络是否能在参数空间中避免维度灾难，从而近似参数化双曲标量守恒律的解？
• RQ2 DNN近似误差对网络规模和参数维度的显式依赖关系为何？
• RQ3 能否基于训练误差、训练样本数量和网络规模，推导出泛化误差的可计算上界？
• RQ4 在实践中，随着参数维度和训练集规模的增加，训练误差与泛化误差如何变化？
• RQ5 理论误差界在多大程度上与数值实验中的经验观察一致？

主要发现

• ReLU神经网络可近似参数化双曲标量守恒律的解，其误差界在参数维度上呈多项式增长，从而克服了维度灾难。
• 近似误差在理论上显式地以网络规模为条件进行界定，且对网络权重和偏置的界独立于期望精度。
• 推导出泛化误差的可计算上界，表明随着训练样本数量的增加，泛化差距减小。
• 数值实验表明，训练误差与泛化误差随参数维度的增长最多为多项式，且泛化差距随训练集增大而收敛至零。
• 理论泛化误差界显著大于实际观测到的误差，表明理论估计仍有进一步收紧的空间。
• 结果可扩展至时空DNN近似和多维标量守恒律，通过推论建立了相应的误差界。