[논문 리뷰] Theoretical Issues in Deep Networks: Approximation, Optimization and Generalization

Tomaso Poggio, Andrzej Banburski외 1명|arXiv (Cornell University)|2019. 08. 25.

Stochastic Gradient Optimization Techniques참고 문헌 23인용 수 19

한 줄 요약

이 논문은 근본적인 세 가지 측면인 근사, 최적화, 일반화를 분석함으로써 딥 러닝의 이론적 기반을 제공한다. 딥 컨volution 뉴럴 네트워크가 복합 함수를 근사할 때 얕은 네트워크보다 지수적 우월성을 보이며, 과다 매개변수화된 설정에서 확률적 경사 하강법이 전역 최소값으로 수렴하고, 경사 하강법에서의 암묵적 노름 제어가 명시적 정규화 없이 일반화를 가능하게 한다—이로써 딥 러닝 이론의 핵심 난제를 해결한다.

ABSTRACT

While deep learning is successful in a number of applications, it is not yet well understood theoretically. A satisfactory theoretical characterization of deep learning however, is beginning to emerge. It covers the following questions: 1) representation power of deep networks 2) optimization of the empirical risk 3) generalization properties of gradient descent techniques --- why the expected error does not suffer, despite the absence of explicit regularization, when the networks are overparametrized? In this review we discuss recent advances in the three areas. In approximation theory both shallow and deep networks have been shown to approximate any continuous functions on a bounded domain at the expense of an exponential number of parameters (exponential in the dimensionality of the function). However, for a subset of compositional functions, deep networks of the convolutional type can have a linear dependence on dimensionality, unlike shallow networks. In optimization we discuss the loss landscape for the exponential loss function and show that stochastic gradient descent will find with high probability the global minima. To address the question of generalization for classification tasks, we use classical uniform convergence results to justify minimizing a surrogate exponential-type loss function under a unit norm constraint on the weight matrix at each layer -- since the interesting variables for classification are the weight directions rather than the weights. Our approach, which is supported by several independent new results, offers a solution to the puzzle about generalization performance of deep overparametrized ReLU networks, uncovering the origin of the underlying hidden complexity control.

연구 동기 및 목표

• 딥 러닝이 명시적 정규화 없이도 왜 이렇게 잘 작동하는지 이해하는 데 이론적 간극을 메우기 위해.
• 특히 복합 함수에 대해 얕은 네트워크와 비교했을 때 딥 네트워크의 표현 능력을 규명하기 위해.
• 과다 매개변수화된 딥 네트워크에서 확률적 경사 하강법이 전역 최소값으로 수렴하는 이유를 설명하기 위해.
• 과다 매개변수화된 딥 네트워크에서 일반화의 역설을 해결하기 위해 암묵적 정규화 메커니즘을 특정하기 위해.
• 근사, 최적화, 일반화의 이론적 통찰을 하나의 일관된 프레임워크 안에 통합하기 위해.

제안 방법

• 복합성, 계층성, 국소성 구조를 가진 함수 클래스를 사용하여 근사 효율성을 분석함으로써, 딥 네트워크가 차원에 대해 선형적 의존성을 가지는 것으로 보여줌.
• 지수형 손실 함수의 손실 표면을 연구하여, 전역 최소값이 다른 임계점보다 덜 탈락되어 있음을 입증함.
• 분류와 관련된 역학을 모델링하기 위해 각 레이어의 가중치 행렬에 단위 노름 제약 조건을 도입한 제약 최적화 프레임워크를 제안함.
• 기본 경사 하강법과 가중치 정규화 사이의 임계점에 대한 동치성을 도출함으로써 암묵적 L2 노름 제어를 보여줌.
• 균일 수렴 이론과 구조적 보조정리를 사용하여 과다 매개변수화된 설정에서의 일반화를 정당화함.
• CIFAR-10에서의 실험적 검증을 통해 학습 데이터 수를 초월하는 매개변수 수에서도 기대 오차가 증가하지 않음을 보여줌.

실험 결과

연구 질문

• RQ1 왜 딥 컨volution 뉴럴 네트워크는 복합 함수에 대해 얕은 네트워크보다 지수적 근사 우월성을 달성하는가?
• RQ2 복잡한 손실 표면을 지닌 과다 매개변수화된 딥 네트워크에서 확률적 경사 하강법이 전역 최소값으로 수렴하는 이유는 무엇인가?
• RQ3 왜 과다 매개변수화된 딥 네트워크에서 명시적 정규화 없이도 일반화가 가능할 수 있는가?
• RQ4 경사 하강법은 어떻게 암묵적으로 노름 제어를 시행하며, 그 역할은 일반화에 어떤 영향을 미치는가?
• RQ5 가중치 정규화, 경사 하강법 역학, 암묵적 정규화 사이의 이론적 관계는 무엇인가?

주요 결과

• 국소적이고 계층적인 복합성 구조를 가진 딥 컨볼루션 네트워크는 차원에 대해 선형적 의존성을 가지며, 얕은 네트워크는 지수적 매개변수 수가 필요함.
• 지수 손실 함수의 경우 전역 최소값은 다른 임계점보다 덜 탈락되어 있음(비영인 고유값 존재), 이는 SGD가 전역 최소값으로 고확률 수렴하는 이유를 설명함.
• 기본 경사 하강법은 암묵적으로 가중치 방향에 대해 L2 단위 노름 제약 조건을 강제함으로써, 동일한 임계점을 가지는 제약 최적화 문제를 해결하는 것과 동치임을 보여줌.
• 경사 하강법에서의 암묵적 노름 제어는 과다 매개변수화된 ReLU 네트워크에서 명시적 정규화 없이도 일반화를 가능하게 하는 정규화의 한 형태임.
• 가중치 정규화와 경사 하강법 역학은 임계점의 구조에서 수학적으로 동치이며, 이는 가중치 정규화의 성공에 대한 이론적 근거를 제시함.
• CIFAR-10에서의 실험 결과는 매개변수 수가 학습 샘플 수를 초월할 때에도 기대 분류 오차가 안정적으로 유지됨을 보여주며, 명시적 정규화 없이도 일반화가 가능하다는 이론적 주장에 대한 지지를 제공함.