[논문 리뷰] Hausdorff Dimension, Stochastic Differential Equations, and Generalization in Neural Networks.

Umut Şimşekli, Ozan Şener외 2명|arXiv (Cornell University)|2020. 06. 16.

Stochastic Gradient Optimization Techniques인용 수 5

한 줄 요약

이 논문은 깊이 있는 학습에서 확률적 경사 하강법(SGD)의 새로운 일반화 경계를 제안하며, 그 궤적을 펠러 과정으로 모델링함으로써 일반화 오차가 이러한 궤적의 하우스도르프 차원에 의해 제어됨을 보여준다. 주요 결과는 더 무거운 尾 꼬리 분포를 가진 노이즈 과정—낮은 尾 꼬리 지수를 가진 것—이 더 나은 일반화를 이끌어내며, 이로써 尾 꼬리 지수를 모델 크기와 함께 증가하지 않는 새로운 용량 척도로 제안한다.

ABSTRACT

Despite its success in a wide range of applications, characterizing the generalization properties of stochastic gradient descent (SGD) in non-convex deep learning problems is still an important challenge. While modeling the trajectories of SGD via stochastic differential equations (SDE) under heavy-tailed gradient noise has recently shed light over several peculiar characteristics of SGD, a rigorous treatment of the generalization properties of such SDEs in a learning theoretical framework is still missing. Aiming to bridge this gap, in this paper, we prove generalization bounds for SGD under the assumption that its trajectories can be well-approximated by a Feller process, which defines a rich class of Markov processes that include several recent SDE representations (both Brownian or heavy-tailed) as its special case. We show that the generalization error can be controlled by the Hausdorff dimension of the trajectories, which is intimately linked to the tail behavior of the driving process. Our results imply that heavier-tailed processes should achieve better generalization; hence, the tail-index of the process can be used as a notion of ``capacity metric''. We support our theory with experiments on deep neural networks illustrating that the proposed capacity metric accurately estimates the generalization error, and it does not necessarily grow with the number of parameters unlike the existing capacity metrics in the literature.

연구 동기 및 목표

• 비볼록 깊이 있는 학습에서 무거운 꼬리 분포를 가진 기울기 노이즈 하에서 SGD에 대한 엄밀한 학습 이론적 일반화 경계의 부족을 해결하기 위해.
• SGD의 확률적 미분 방정식(SDE) 모델과 일반화 이론 사이의 격차를 메우기 위해.
• SGD의 구동 노이즈 과정의 꼬리 행동에 기반한 새로운 용량 척도를 제안하기 위해.
• 이 척도가 모델 크기와 무관하게 일반화 오차와 상관관계를 가지는지 확인하기 위해.

제안 방법

• SGD 궤적을 펠러 과정으로 모델링하며, 이는 브라운 운동과 레비 유형의 SDE를 포함하는 광범위한 마코프 과정의 클래스이다.
• 펠러 과정 궤적의 하우스도르프 차원에 의존하는 일반화 경계를 수립한다.
• 하우스도르프 차원을 노이즈의 꼬리 행동과 연결하여, 더 두꺼운 꼬리(낮은 尾 꼬리 지수)가 일반화 오차를 감소시킴을 보여준다.
• 노이즈 과정의 尾 꼬리 지수를 용량 척도로 사용하며, 전통적인 크기 기반 측정치를 대체한다.
• SGD 역학이 펠러 과정에 잘 근사된다는 가정 하에 이론적 경계를 유도한다.
• 다양한 깊이 신경망에서 이론을 실증적으로 검증하며, 제안된 척도를 실제 일반화 오차와 비교한다.

실험 결과

연구 질문

• RQ1 무거운 꼬리 분포를 가진 노이즈가 있는 확률적 미분 방정식 프레임워크 하에서 SGD에 대한 엄밀한 일반화 경계를 유도할 수 있는가?
• RQ2 SGD 궤적의 하우스도르프 차원은 일반화 성능과 어떻게 관련이 있는가?
• RQ3 노이즈 과정의 尾 꼬리 지수는 깊이 있는 학습에서 의미 있는 용량 척도가 될 수 있는가?
• RQ4 제안된 용량 척도가 모델 크기와 무관하게 일반화 오차와 상관관계를 가지는가?
• RQ5 실제 적용에서 제안된 척도는 기존의 용량 측정치와 어떻게 비교되는가?

주요 결과

• SGD의 일반화 오차는 그 궤적의 하우스도르프 차원에 의해 경계지며, 이는 구동 노이즈 과정의 꼬리 행동에 의해 결정된다.
• 더 두꺼운 꼬리 분포를 가진 노이즈 과정(낮은 尾 꼬리 지수)은 더 낮은 일반화 오차를 초래하며, 이는 더 나은 일반화 용량을 의미한다.
• 노이즈 과정의 尾 꼬리 지수는 일반화 오차와 상관관계를 가지는 새로운 용량 척도로 기능한다.
• 제안된 용량 척도는 기존의 척도들—예를 들어 매개변수 수나 노름 기반 측정치—와 달리 매개변수 수의 증가와 반드시 관련되지 않는다.
• 다양한 아키텍처와 데이터셋에서의 깊이 신경망에 대한 실증 결과는 제안된 척도가 일반화 오차를 정확하게 예측함을 확인한다.