[논문 리뷰] Learning Overparameterized Neural Networks via Stochastic Gradient Descent on Structured Data

Yuanzhi Li, Yingyu Liang|arXiv (Cornell University)|2018. 08. 03.

Machine Learning and ELM참고 문헌 32인용 수 161

한 줄 요약

이 논문은 이층 과매개변수화된 ReLU 네트워크에서 SGD가 구조화된 데이터에 대해 일반화를 잘 수행하는 이유를 분석하고, 데이터가 잘 분리된 구성요소들의 혼합일 때 SGD가 초기화에 가까운 해를 찾고 일반화 오차가 작다.

ABSTRACT

Neural networks have many successful applications, while much less theoretical understanding has been gained. Towards bridging this gap, we study the problem of learning a two-layer overparameterized ReLU neural network for multi-class classification via stochastic gradient descent (SGD) from random initialization. In the overparameterized setting, when the data comes from mixtures of well-separated distributions, we prove that SGD learns a network with a small generalization error, albeit the network has enough capacity to fit arbitrary labels. Furthermore, the analysis provides interesting insights into several aspects of learning neural networks and can be verified based on empirical studies on synthetic data and on the MNIST dataset.

연구 동기 및 목표

• 구조화된 다중 클래스 데이터에서 과매개변수화된 이층 ReLU 네트워크의 SGD 학습이 어떻게 작동하는지 조사한다.
• 최적화 및 일반화에서 데이터 구조, 초기화 및 과매개변수화의 역할을 이해한다.
• 환경 데이터 차원에 의존하지 않는 일반화에 대한 이론적 보장을 제공한다.

제안 방법

• 랜덤 초기화로 k-클래스 분류를 위한 이층 ReLU 네트워크를 모델링하고 교차 엔트로피 손실로 미니배치 SGD를 통해 학습한다.
• 데이터가 각 클래스당 l 성분의 혼합으로부터 추출되며 서포트가 잘 구분되고( A1 ) 입력이 정규화되어 있다(A2)를 가정한다.
• 활성화 패턴을 초기화 시점의 패턴으로 고정하는 무해한 ‘의사 그래디언트’와 SGD 업데이트를 연결시키면서 그래디언트 역학을 분석한다( A3 ).
• 충분한 과매개변수화가 있으면 SGD가 초기화에 가까운 상태를 유지하면서 작은 일반화 오차를 달성한다를 증명한다.
• 학습 시간과 필요한 과매개변수화 수준은 데이터 구조 매개변수(k, l, delta)에 의존하고 입력 차원 d에는 의존하지 않는다는 사실을 보인다.
• 합성 데이터와 MNIST에 대한 보완 실험으로 이론적 결과를 뒷받침한다.

실험 결과

연구 질문

• RQ1 구조화된 데이터에서 과매개변수화된 이층 ReLU 네트워크의 SGD가 어떤 조건에서 잘 일반화하는가?
• RQ2 데이터 구조(클래스당 성분의 수, 성분 간 분리)와 초기화가 최적화 및 일반화에 어떤 영향을 미치는가?
• RQ3 데이터가 잘 분리된 분포의 혼합일 때 과매개변수화, 학습 시간, 일반화 간의 관계는 무엇인가?

주요 결과

• 적절한 무작위 초기화로 SGD가 초기화에 가까운 네트워크를 학습하여 구조화된 데이터에서 작은 일반화 오차를 보인다.
• 일반화 보장은 데이터 구조 매개변수(k, l, delta)에 의존하지만 주변 입력 차원 d에는 독립적이다.
• 과매개변수화와 초기화는 SGD가 무해한 최적화 풍경 내에서 좋은 해를 찾도록 하는 결합을 만든다.
• 구조화된 데이터에 대한 SGD의 강한 귀납 바이어스가 존재하여 네트워크가 임의의 레이블을 맞출 수 있을 때도 좋은 일반화를 가능하게 한다.
• 합성 데이터와 MNIST에 대한 경험적 결과가 활성화 패턴 결합 및 초기화 근처 해를 포함한 이론적 통찰을 뒷받침한다.