[논문 리뷰] Benefit of deep learning with non-convex noisy gradient descent: Provable excess risk bound and superiority to kernel methods

Taiji Suzuki, Shunta Akiyama|arXiv (Cornell University)|2021. 05. 03.

Sparse and Compressive Sensing Techniques참고 문헌 58인용 수 4

한 줄 요약

이 논문은 과다파ram터화된 신경망의 비볼록 기하학적 구조를 활용하여, 비볼록 노이즈가 있는 경사하강법을 사용한 딥러닝이 선형 추정기—핵 함수 방법, 무작위 특징, k-NN 포함—보다 더 빠른 초과 위험률을 달성함을 입증한다. 이론적 분석은 고차원에서 최소최대 최적 수렴 속도를 증명하며, 명시적 희박성 정규화 없이도 증명 가능한 우월성을 보여준다.

ABSTRACT

Establishing a theoretical analysis that explains why deep learning can outperform shallow learning such as kernel methods is one of the biggest issues in the deep learning literature. Towards answering this question, we evaluate excess risk of a deep learning estimator trained by a noisy gradient descent with ridge regularization on a mildly overparameterized neural network, and discuss its superiority to a class of linear estimators that includes neural tangent kernel approach, random feature model, other kernel methods, k-NN estimator and so on. We consider a teacher-student regression model, and eventually show that {\it any} linear estimator can be outperformed by deep learning in a sense of the minimax optimal rate especially for a high dimension setting. The obtained excess bounds are so-called fast learning rate which is faster than O(1/n) that is obtained by usual Rademacher complexity analysis. This discrepancy is induced by the non-convex geometry of the model and the noisy gradient descent used for neural network training provably reaches a near global optimal solution even though the loss landscape is highly non-convex. Although the noisy gradient descent does not employ any explicit or implicit sparsity inducing regularization, it shows a preferable generalization performance that dominates linear estimators.

연구 동기 및 목표

• 딥러닝이 커널 모델과 같은 얕은 방법보다 일반화 성능이 더 뛰어나지 이유에 대한 열린 질문을 해결하기 위해.
• 선생-학생 회귀 프레임워크에서 릿지 정규화를 적용한 노이즈가 있는 경사하강법으로 훈련된 딥러닝의 초과 위험을 분석하기 위해.
• 딥러닝이 신경망 탄성 커널과 k-NN를 포함한 모든 선형 추정기보다 더 빠른 수렴 속도를 달성할 수 있음을 입증하기 위해.
• 비볼록 최적화와 노이즈가 함께 작용하여 근사 전역 최적해에 수렴함으로써 더 뛰어난 일반화 성능을 달성할 수 있음을 보여주기 위해.

제안 방법

• 릿지 정규화를 적용한 경사하강법으로 훈련된 약간 과다파aram터화된 두 층의 ReLU 신경망을 분석한다.
• 스토캐스틱성을 활용하여 局부 최소값에서 벗어나기 위해 노이즈가 있는 경사하강법을 적용한다.
• 진정한 기저 함수와 일반화 오차를 정의하기 위해 선생-학생 회귀 모델을 사용한다.
• 비볼록 최적화 이론과 고차원 통계 분석을 통해 초과 위험 한계를 유도한다.
• 딥러닝 추정기의 위험을 핵 함수 방법과 k-NN를 포함한 광범위한 선형 추정기 클래스와 비교한다.
• 비볼록 기하학성과 노이즈 유도 수렴 덕분에 O(1/n)보다 더 빠른 학습 속도를 확보한다.

실험 결과

연구 질문

• RQ1 노이즈가 있는 경사하강법을 사용한 딥러닝이 고차원 환경에서 선형 추정기보다 더 나은 일반화 성능을 보일 수 있는가?
• RQ2 딥 네트워크의 비볼록 기하학성이 핵 함수 방법이 달성할 수 있는 것보다 더 빠른 수렴 속도를 가능하게 하는가?
• RQ3 노이즈가 있는 경사하강법이 명시적 희박성 정규화 없이 과다파aram터화된 딥 모델에서 일반화에 어떻게 기여하는가?
• RQ4 최소최대 기준에서 딥러닝의 초과 위험은 핵 함수 방법과 관련된 선형 추정기보다 증명적으로 작게 되는가?
• RQ5 과다파aram터화와 노이즈 간의 상호작용이 근사 전역 최적해에의 수렴과 빠른 학습 속도를 달성하는 데 어떤 역할을 하는가?

주요 결과

• 노이즈가 있는 경사하강법으로 훈련된 딥러닝 추정기는 핵 함수 방법과 k-NN를 포함한 모든 선형 추정기보다 더 빠른 초과 위험률을 달성한다.
• 초과 위험 한계는 O(1/n)보다 더 빠르며, 이는 모델의 비볼록 기하학성 덕분으로 기인한다.
• 명시적 희박성 정규화가 필요하지 않다—단지 경사하강법 내의 노이즈만으로도 뛰어난 일반화 성능이 달성된다.
• 매우 비볼록적인 손실 곡면에도 불구하고, 이론적으로 근사 전역 최적해에 수렴함을 입증한다.
• 특히 고차원 환경에서 최소최대 최적 기준에서 우월성이 유지된다.
• 이론적 분석은 딥러닝이 일반화 오차 측면에서 신경망 탄성 커널과 관련된 선형 근사보다 뛰어나다는 것을 확인한다.