[논문 리뷰] Mathematical Introduction to Deep Learning: Methods, Implementations, and Theory

Arnulf Jentzen, Benno Kuckuck외 1명|arXiv (Cornell University)|2023. 10. 31.

Neural Networks and Applications인용 수 7

한 줄 요약

이 책은 딥 러닝을 위한 엄밀한 수학적 기초를 제공하며, 딥 신경망(DNN), 경사 하강법 및 확률적 경사 하강법(SGD), 역전파, 일반화 오차, 그리고 Kurdyka–Łojasiewicz(KL) 부등식의 이론, 방법, 구현을 다룬다. 이 책은 다중 랜덤 초기화를 사용한 SGD 훈련에서 근사 오차, 최적화 오차, 일반화 오차를 통합한 오차 분해 프레임워크를 수립한다.

ABSTRACT

This book aims to provide an introduction to the topic of deep learning algorithms. We review essential components of deep learning algorithms in full mathematical detail including different artificial neural network (ANN) architectures (such as fully-connected feedforward ANNs, convolutional ANNs, recurrent ANNs, residual ANNs, and ANNs with batch normalization) and different optimization algorithms (such as the basic stochastic gradient descent (SGD) method, accelerated methods, and adaptive methods). We also cover several theoretical aspects of deep learning algorithms such as approximation capacities of ANNs (including a calculus for ANNs), optimization theory (including Kurdyka-Łojasiewicz inequalities), and generalization errors. In the last part of the book some deep learning approximation methods for PDEs are reviewed including physics-informed neural networks (PINNs) and deep Galerkin methods. We hope that this book will be useful for students and scientists who do not yet have any background in deep learning at all and would like to gain a solid foundation as well as for practitioners who would like to obtain a firmer mathematical understanding of the objects and methods considered in deep learning.

연구 동기 및 목표

• 기초 지식이 없는 연구자 및 실무자에게 딥 러닝을 위한 수학적으로 엄밀한 기초를 제공하기 위해.
• 일변수 및 다변수 함수 근사 정리들을 활용하여 딥 신경망의 근사 능력을 분석하기 위해.
• 경사 하강법(GD), 확률적 경사 하강법(SGD), 그리고 그들이 경사 유량 미분방정식(ODE)과 어떻게 연결되는지 분석하기 위해.
• 유한 샘플 학습을 위한 비확률적 및 Lp 유형의 경계를 사용하여 일반화 오차 추정을 체계화하기 위해.
• SGD 훈련과 다중 초기화를 통한 종합적인 오차 분해를 위해 근사, 최적화, 일반화 오차 경계를 통합하는 것.

제안 방법

• 완전 연결 피드포워드, 컨볼루션, 순환, 잔차 신경망(ResNets)을 애фин 변환과 비선형 활성화 함수의 조합을 통해 수식화한다.
• 계산법을 피드포워드 네트워크에 적용하여, 계산 그래프에서 체인 규칙을 통한 기울기 계산 및 역전파를 수행한다.
• GD와 SGD를 경사 유량 상미분방정식(ODE)의 시간 이산화된 근사로 분석한다.
• Kurdyka–Łojasiewicz(KL) 부등식을 적용하여 표준 가정을 초월해 딥 러닝 환경에서 수렴 분석을 확장한다.
• 배치 정규화(BN)와 그 훈련 가속화에서의 역할을 검토하며, 엄밀한 수학적 처리를 수행한다.
• 근사, 최적화, 일반화 오차 추정을 통합하여, 다중 초기화를 사용한 SGD와 함께 하는 지도 학습의 종합적 오차 경계를 도출한다.

실험 결과

연구 질문

• RQ1 딥 신경망은 특히 다변수 설정에서 임의의 연속 함수를 얼마나 잘 근사할 수 있는가?
• RQ2 딥 러닝에서 경사 하강법과 확률적 경사 하강법의 수렴 성질은 무엇이며, 그들은 경사 유량 ODE와 어떻게 관련이 있는가?
• RQ3 Kurdyka–Łojasiewicz(KL) 부등식은 딥 러닝에서 최적화 알고리즘의 수렴을 분석하는 데 어떻게 활용될 수 있는가?
• RQ4 진짜 데이터 분포가 알려져 있지 않고 오직 유한한 샘플만 이용 가능한 상황에서 딥 러닝의 일반화 오차에 대한 이론적 경계는 무엇인가?
• RQ5 SGD와 다중 랜덤 초기화로 훈련된 딥 러닝 모델의 종합적 일반화 오차는 어떻게 분해되고 경계될 수 있는가?

주요 결과

• 이 책은 딥 신경망이 높은 정확도로 광범위한 연속 함수의 클래스를 근사할 수 있음을 입증하며, 일변수 및 다변수 케이스에서 근사 오차에 대한 이론적 경계를 제시한다.
• SGD와 GD가 경사 유량 ODE의 해를 시간 이산화된 방법으로 근사하는 것으로 해석될 수 있음을 보여주며, 최적화 역학에 대한 연속 시간적 관점을 제공한다.
• Kurdyka–Łojasiewicz(KL) 부등식이 표준 가정이 실패하는 경우에도 딥 러닝 환경에서 최적화 알고리즘의 수렴을 증명하는 데 강력한 도구로 기능함을 입증한다.
• 비확률적 및 강력한 Lp 유형의 일반화 오차 경계가 엄밀하게 유도되어, 미관측 데이터에서의 모델 성능에 대한 이론적 보장을 제공한다.
• 근사, 최적화, 일반화 오차를 통합한 종합적인 오차 분해 프레임워크가 개발되어, 다중 초기화를 사용한 SGD 훈련에 대한 완전한 이론적 오차 경계를 도출한다.
• 이 책은 역전파, 배치 정규화, 최적화와 같은 딥 러닝의 핵심 구성 요소를 통합된 수학적 접근법으로 다루며, 엄밀한 증명과 GitHub에 구현 가능한 코드를 지원한다.