[論文レビュー] Mathematical Introduction to Deep Learning: Methods, Implementations, and Theory

Arnulf Jentzen, Benno Kuckuck+1 more|arXiv (Cornell University)|Oct 31, 2023

Neural Networks and Applications被引用数 7

ひとこと要約

本書は、深層学習のための厳密な数学的基盤を提供し、深層人工ニューラルネットワーク（DNNs）の理論、手法、実装、勾配降下法および確率的勾配降下法（SGD）による最適化、誤差逆伝播、一般化誤差、およびKurdyka–Łojasiewicz（KL）不等式をカバーする。SGDによる複数回のランダム初期化を伴う学習において、近似誤差、最適化誤差、一般化誤差を統合した誤差分解フレームワークを確立する。

ABSTRACT

This book aims to provide an introduction to the topic of deep learning algorithms. We review essential components of deep learning algorithms in full mathematical detail including different artificial neural network (ANN) architectures (such as fully-connected feedforward ANNs, convolutional ANNs, recurrent ANNs, residual ANNs, and ANNs with batch normalization) and different optimization algorithms (such as the basic stochastic gradient descent (SGD) method, accelerated methods, and adaptive methods). We also cover several theoretical aspects of deep learning algorithms such as approximation capacities of ANNs (including a calculus for ANNs), optimization theory (including Kurdyka-Łojasiewicz inequalities), and generalization errors. In the last part of the book some deep learning approximation methods for PDEs are reviewed including physics-informed neural networks (PINNs) and deep Galerkin methods. We hope that this book will be useful for students and scientists who do not yet have any background in deep learning at all and would like to gain a solid foundation as well as for practitioners who would like to obtain a firmer mathematical understanding of the objects and methods considered in deep learning.

研究の動機と目的

• 先行知識のない研究者および実務家に対して、深層学習の数学的に厳密な基盤を提供すること。
• 1次元および多次元関数近似定理を用いて、深層ニューラルネットワークの近似能力を分析すること。
• 勾配降下法（GD）、確率的勾配降下法（SGD）およびそれらの勾配フロー常微分方程式（ODEs）との関連を研究すること。
• 有限標本学習における確率的およびLp型の境界を用いて、一般化誤差の推定を形式化すること。
• 近似誤差、最適化誤差、一般化誤差の境界を統合し、複数の初期化を伴うSGD学習のための統一的全体誤差分解を構築すること。

提案手法

• 全結合フィードフォワード、畳み込み、再帰的、および残差ニューラルネットワーク（ResNets）を、アフィン関数と非線形活性化関数の合成として形式化する。
• 微分積分学をフィードフォワードネットワークに適用し、勾配計算および計算グラフにおける合成関数の微分則による誤差逆伝播を扱う。
• GDおよびSGDを勾配フロー常微分方程式（ODEs）の時間離散化近似として分析する。
• Kurdyka–Łojasiewicz（KL）不等式を用いて、標準的な仮定が成り立たない場合でも、深層学習の文脈に拡張された収束解析を可能にする。
• バッチ正規化（BN）をレビューし、訓練の高速化におけるその役割を厳密に数学的に扱う。
• 近似誤差、最適化誤差、一般化誤差の推定値を統合し、複数のランダム初期化を伴うSGDおよび教師あり学習のための全体誤差境界を一つに統合する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、特に多次元設定において、任意の連続関数をどの程度よく近似できるか？
• RQ2 勾配降下法および確率的勾配降下法の収束特性は何か？また、それらは勾配フローODEとどのように関連しているか？
• RQ3 Kurdyka–Łojasiewicz（KL）不等式は、深層学習における最適化アルゴリズムの収束解析にどのように応用できるか？
• RQ4 真のデータ分布が未知であり、有限の標本のみが利用可能な場合、深層学習における一般化誤差の理論的境界は何か？
• RQ5 SGDおよび複数のランダム初期化を用いて学習された深層学習モデルの全体的一般化誤差をどのように分解・境界化できるか？

主な発見

• 本書は、深層ニューラルネットワークが広範な連続関数のクラスを高い精度で近似できることを確立し、1次元および多次元の両ケースにおける近似誤差の理論的境界を提示している。
• SGDおよびGDが、勾配フローODEの解を時間離散化スキームとして解釈できることを示しており、最適化ダイナミクスに連続時間的視点を提供している。
• Kurdyka–Łojasiewicz（KL）不等式が、標準的な仮定が成り立たない場合でも、深層学習における最適化アルゴリズムの収束を証明する強力なツールであることが示された。
• 確率的および強いLp型一般化誤差境界が厳密に導出され、未学習データにおけるモデル性能の理論的保証が得られた。
• 近似誤差、最適化誤差、一般化誤差を統合した包括的な誤差分解フレームワークが開発され、複数の初期化を伴うSGD学習の完全な理論的誤差境界が得られた。
• 本書は、誤差逆伝播、バッチ正規化、最適化といった深層学習の主要要素を統一的な数学的枠組みで扱い、形式的証明とGitHub上の実装可能なコードを支援している。