[논문 리뷰] Generalization Guarantees for Neural Networks via Harnessing the Low-rank Structure of the Jacobian

Samet Oymak, Zalan Fabian외 2명|arXiv (Cornell University)|2019. 06. 12.

Model Reduction and Neural Networks참고 문헌 53인용 수 40

한 줄 요약

이 논문은 Jacobian 기반의 데이터 의존적 이론을 통해 신경망이 학습 역학을 정보 공간(빠르고 라벨과 잘 정렬)과 nuisance 공간(느림, 잠재적 과적합)으로 분리함으로써 일반화되는 방식을 보여주며, 심지어 일정 너비의 네트가도 잘 구조화된 데이터에서 일반화할 수 있음을 시연한다.

ABSTRACT

Modern neural network architectures often generalize well despite containing many more parameters than the size of the training dataset. This paper explores the generalization capabilities of neural networks trained via gradient descent. We develop a data-dependent optimization and generalization theory which leverages the low-rank structure of the Jacobian matrix associated with the network. Our results help demystify why training and generalization is easier on clean and structured datasets and harder on noisy and unstructured datasets as well as how the network size affects the evolution of the train and test errors during training. Specifically, we use a control knob to split the Jacobian spectum into "information" and "nuisance" spaces associated with the large and small singular values. We show that over the information space learning is fast and one can quickly train a model with zero training loss that can also generalize well. Over the nuisance space training is slower and early stopping can help with generalization at the expense of some bias. We also show that the overall generalization capability of the network is controlled by how well the label vector is aligned with the information space. A key feature of our results is that even constant width neural nets can provably generalize for sufficiently nice datasets. We conduct various numerical experiments on deep networks that corroborate our theoretical findings and demonstrate that: (i) the Jacobian of typical neural networks exhibit low-rank structure with a few large singular values and many small ones leading to a low-dimensional information space, (ii) over the information space learning is fast and most of the label vector falls on this space, and (iii) label noise falls on the nuisance space and impedes optimization/generalization.

연구 동기 및 목표

• Gradient-descent로 학습된 신경망이 과parameterization에도 불구하고 일반화하는 방식의 동기 부여와 정량화.
• Jacobian 스펙트럼을 이용한 학습 역학의 데이터 의존적 분해를 정보 공간과 nuisance 공간으로 도입.
• 레이블이 정보 공간과의 정렬 및 저랭크 Jacobian이 강한 일반화를 가능하게 하는지, 너비가 제한적일 때도 일반화가 가능한지 분석.
• 편향–분산 트레이드오프와 학습 및 테스트 성능에 대한 네트워크 크기 효과를 분석.
• 일반화 프레임워크에 임의의 초기화(사전학습 모델 포함)를 포함시킴.

제안 방법

• 네트워크의 Jacobian의 특이값 분해를 이용해 정보 공간과 nuisance 공간을 정의한다.
• 학습 역학과 일반화 오차를 정보 공간 및 nuisance 공간 기여로 분해한다.
• 정보 공간과의 정렬에서 생기는 편향과 초기화로부터의 이동으로 인한 분산으로 구성된 편향-분산 프레임워크를 사용한다.
• 다변수 다클래스 뉴럴 NTK(M-NTK)를 통해 무작위 초기화 및 임의 초기화에 대해 finite-sample, 데이터 의존적 보장을 제시한다(정리 3.2 및 3.3).
• 저랭크 Jacobian 구조 하에서 너비가 데이터 크기에 대해 로그 규모처럼 충분히 작아도 좋은 일반화를 달성할 수 있음을 보인다.

실험 결과

연구 질문

• RQ1 Gradient descent가 저랭크 Jacobian 구조를 활용함으로써 과parameterization된 네트워크에서도 일반화할 수 있는가?
• RQ2 레이블의 Jacobian 정보 공간과의 정렬은 일반화 성능에 어떤 영향을 미치는가?
• RQ3 저랭크로 효과적으로 작동하는 경우 네트워크 너비가 일반화에 어떤 역할을 하는가?
• RQ4 사전학습되었거나 임의로 초기화된 모델은 Jacobian 기반 분석 하에서 유사한 일반화 보장을 얻을 수 있는가?
• RQ5 정보 공간과 nuisance 공간 맥락에서 편향과 분산 요소가 어떻게 분리되는가?

주요 결과

• 일반적인 신경망의 Jacobian은 몇 개의 큰 특이값과 다수의 작은 특이값으로 구성된 저랭크 구조를 보여주며, 이는 저차원 정보 공간을 정의한다.
• 정보 공간에서 학습은 빠르고, 레이블 벡터의 대부분이 이 공간에 놓여 있어 학습 오차를 빠르게 줄일 수 있다.
• nuisance 공간에서의 학습은 더 느리며, 조기 종료는 일반화를 돕는 대신 일부 편향이 발생한다.
• 레이블 벡터가 정보 공간과 잘 정렬될수록 일반화가 향상되며, 충분히 구조화된 데이터의 경우 너비가 일정하거나 소폭으로도 일반화를 달성할 수 있다.
• 이 프레임워크는 극히 넓은 네트워크를 필요로 하지 않는 데이터 의존적 보장을 제공하고, 사전학습 모델을 포함한 임의 초기화에도 일반화 결과가 확장된다.
• 수치 실험은 이론적 주장과 일치하며 정보 방향에서의 빠른 수렴과 nuisance 방향에서의 느리고 편향에 민감한 학습을 시사한다.