[논문 리뷰] Learning Overparameterized Neural Networks via Stochastic Gradient Descent on Structured Data

Yuanzhi Li, Yingyu Liang|arXiv (Cornell University)|2018. 08. 03.

Neural Networks and Applications인용 수 319

한 줄 요약

이 논문은 과매개변수화된 두 계층 ReLU 네트워크에서 학습된 SGD가 구조화된 데이터에서 일반화가 잘 되는 이유를 분석하고, 데이터가 구조화된 구성요소로 잘 구분될 때 초기화 근처에서 일반화 오차가 낮은 해에 수렴한다는 것을 보인다.

ABSTRACT

Neural networks have many successful applications, while much less theoretical understanding has been gained. Towards bridging this gap, we study the problem of learning a two-layer overparameterized ReLU neural network for multi-class classification via stochastic gradient descent (SGD) from random initialization. In the overparameterized setting, when the data comes from mixtures of well-separated distributions, we prove that SGD learns a network with a small generalization error, albeit the network has enough capacity to fit arbitrary labels. Furthermore, the analysis provides interesting insights into several aspects of learning neural networks and can be verified based on empirical studies on synthetic data and on the MNIST dataset.

연구 동기 및 목표

• 과매개변수화된 신경망에서의 SGD와 암시적 정규화에 대한 이해를 촉진한다.
• 구조화된 데이터에 대한 다클래스 분류를 위한 두 계층 ReLU 네트워크의 학습 모델링.
• 데이터 분리성과 과매개변수화 하에서 SGD가 작은 일반화 오차를 달성한다는 것을 증명한다.
• 초기화, 최적화 지형, 그리고 SGD에 의해 유도된 귀납적 편향에 대한 통찰력을 제공한다.

제안 방법

• 랜덤 초기화를 갖는 m개의 은닉 유닛을 가진 k-클래스 분류를 위한 두 계층 ReLU 네트워크를 정의한다.
• 데이터를 각 클래스마다 l개의 구성요소의 혼합으로 형성하고, 구성요소의 지지 집합을 잘 분리(A1)하고 입력을 정규화(A2)한다.
• 교차 엔트로피 손실과 소프트맥스 출력(Eq. 1)을 사용하는 미니배치 SGD 업데이트를 기술한다.
• 초기화 시점의 활성화 패턴을 고정한 의사그라디언트를 도입하여 SGD의 역학을 분석한다.
• 충분히 큰 m에 대해 SGD가 초기화에 가까운 해를 찾고 작은 일반화 오차를 갖는 해를 얻는 것을 증명한다(정리 4.1).
• 분산이 없는 간소화된 경우와 기울기 크기가 수렴을 이끈다는 것을 보이는 결합 보조정리로 직관을 뒷받침한다.

실험 결과

연구 질문

• RQ1 과매개변수화된 두 계층 ReLU 네트워크에서의 SGD가 구조화된 데이터에 대해 어떤 조건에서 잘 일반화하는가?
• RQ2 초기화와 과매개변수화가 서로 어떻게 작용하여 잘 분리된 구성요소의 혼합일 때 귀납적 바이어스를 만들어 과적합을 피하는가?
• RQ3 데이터 구조(k, l, delta, 지름과 같은) 가 학습 시간과 필요한 네트워크 폭을 결정하는 데 어떤 역할을 하는가?
• RQ4 SGD의 역학이 최적화와 일반화 동작을 설명하는 무해한 의사그래디언트로 근사될 수 있는가?

주요 결과

• 적절한 무작위 초기화를 가진 SGD는 네트워크가 임의의 라벨을 적합할 수 있는 용량을 가지고 있더라도 낮은 일반화 오차를 달성한다.
• 필요한 과매개변수화와 학습 시간은 데이터 구조 매개변수(k, l, delta)에 의존하지만 주변 차원 d에는 의존하지 않는다.
• m이 충분히 큰 경우, 다항적 양의 샘플 수가 분포 가정하에 높은 확률로 올바른 분류를 달성하기에 충분하다.
• 초기화에 근접한 SGD의 역학은 실질적으로 무해한 학습 과정과 결합되어 최적화의 성공과 일반화가 보존되는 이유를 설명한다.
• 합성 데이터와 MNIST에 대한 실험 결과가 이론을 뒷받침하며, 활성화 패턴의 결합과 가중치 업데이트의 저랭크 구조를 나타낸다.