[论文解读] Mathematical Introduction to Deep Learning: Methods, Implementations, and Theory

Arnulf Jentzen, Benno Kuckuck+1 more|arXiv (Cornell University)|Oct 31, 2023

Neural Networks and Applications被引用 7

一句话总结

本书为深度学习提供了严格的数学基础，涵盖深度神经网络（DNNs）的理论、方法与实现，基于梯度下降和随机梯度下降（SGD）的优化，反向传播，泛化误差，以及Kurdyka–Łojasiewicz（KL）不等式。它建立了结合近似误差、优化误差和泛化误差的误差分解框架，用于多组随机初始化下的SGD训练。

ABSTRACT

This book aims to provide an introduction to the topic of deep learning algorithms. We review essential components of deep learning algorithms in full mathematical detail including different artificial neural network (ANN) architectures (such as fully-connected feedforward ANNs, convolutional ANNs, recurrent ANNs, residual ANNs, and ANNs with batch normalization) and different optimization algorithms (such as the basic stochastic gradient descent (SGD) method, accelerated methods, and adaptive methods). We also cover several theoretical aspects of deep learning algorithms such as approximation capacities of ANNs (including a calculus for ANNs), optimization theory (including Kurdyka-Łojasiewicz inequalities), and generalization errors. In the last part of the book some deep learning approximation methods for PDEs are reviewed including physics-informed neural networks (PINNs) and deep Galerkin methods. We hope that this book will be useful for students and scientists who do not yet have any background in deep learning at all and would like to gain a solid foundation as well as for practitioners who would like to obtain a firmer mathematical understanding of the objects and methods considered in deep learning.

研究动机与目标

• 为无先前背景的研究人员和从业者提供深度学习的数学严谨基础。
• 利用一维和多变量函数逼近定理，分析深度神经网络的近似能力。
• 研究梯度下降（GD）、随机梯度下降（SGD）等优化方法，及其与梯度流常微分方程（ODEs）的联系。
• 通过概率和Lp型界，形式化有限样本学习中的泛化误差估计。
• 将近似误差、优化误差和泛化误差界整合为统一的整体误差分解，用于SGD训练与多组初始化。

提出的方法

• 通过仿射函数与非线性激活函数的复合，形式化全连接前馈网络、卷积网络、循环网络和残差网络（ResNets）。
• 应用微积分处理前馈网络，包括通过计算图中的链式法则进行梯度计算与反向传播。
• 将GD和SGD分析为梯度流常微分方程（ODEs）的时间离散近似。
• 应用Kurdyka–Łojasiewicz（KL）不等式，将收敛性分析扩展至标准假设不成立的深度学习场景。
• 回顾批量归一化（BN）及其在加速训练中的作用，并提供严格的数学处理。
• 将近似误差、优化误差和泛化误差估计整合为单一整体误差界，适用于SGD与多组随机初始化的监督学习。

实验结果

研究问题

• RQ1 深度神经网络在多变量设置下，对任意连续函数的逼近能力如何，尤其在高维情形？
• RQ2 在深度学习中，梯度下降和随机梯度下降的收敛性质是什么？它们与梯度流ODEs有何关联？
• RQ3 Kurdyka–Łojasiewicz（KL）不等式如何用于分析深度学习中优化算法的收敛性？
• RQ4 当真实数据分布未知且仅有有限样本可用时，深度学习中的泛化误差理论边界是什么？
• RQ5 如何对使用SGD和多组随机初始化训练的深度学习模型的整体泛化误差进行分解与有界化？

主要发现

• 本书确立了深度神经网络能够以高精度逼近广泛类别的连续函数，且在一维和多变量情形下均给出了近似误差的理论界。
• 研究表明，SGD和GD可被解释为逼近梯度流ODE解的时间离散格式，为优化动力学提供了连续时间视角。
• Kurdyka–Łojasiewicz（KL）不等式被证明是证明深度学习中优化算法收敛性的强大工具，即使在标准假设不成立时亦成立。
• 严格推导出概率性和强Lp型泛化误差界，为模型在未见数据上的性能提供了理论保证。
• 提出了一套全面的误差分解框架，整合近似误差、优化误差与泛化误差，为多组初始化下的SGD训练提供了完整的理论误差界。
• 本书对深度学习的关键组件——反向传播、批量归一化与优化——提供了统一的数学处理，辅以形式化证明和GitHub上的可执行代码。