[논문 리뷰] Fine-Grained Analysis of Optimization and Generalization for Overparameterized Two-Layer Neural Networks

Sanjeev Arora, Simon S. Du외 3명|arXiv (Cornell University)|2019. 01. 24.

Stochastic Gradient Optimization Techniques참고 문헌 73인용 수 261

한 줄 요약

이 논문은 그라디언트 디센트로 학습된 폭넓고 과초파라미터화된 두 겹 ReLU 네트워크의 학습 역학과 일반화를 분석하여, 라벨 구조와 데이터 의존 커널 Gram 행렬이 최적화 속도와 일반화 경계에 미치는 영향을 밝힌다.

ABSTRACT

Recent works have cast some light on the mystery of why deep nets fit any data and generalize despite being very overparametrized. This paper analyzes training and generalization for a simple 2-layer ReLU net with random initialization, and provides the following improvements over recent works: (i) Using a tighter characterization of training speed than recent papers, an explanation for why training a neural net with random labels leads to slower training, as originally observed in [Zhang et al. ICLR'17]. (ii) Generalization bound independent of network size, using a data-dependent complexity measure. Our measure distinguishes clearly between random labels and true labels on MNIST and CIFAR, as shown by experiments. Moreover, recent papers require sample complexity to increase (slowly) with the size, while our sample complexity is completely independent of the network size. (iii) Learnability of a broad class of smooth functions by 2-layer ReLU nets trained via gradient descent. The key idea is to track dynamics of training and generalization via properties of a related kernel.

연구 동기 및 목표

• Gradient descent가 overparameterized 두 겹 ReLU 네트워크에서 진짜 라벨에 대해 무작위 라벨보다 왜 더 빨리 수렴하는지 설명한다.
• 네트워크 너비에 의존하지 않고 ReLU 커널에서 파생된 Gram 행렬에 의존하는 데이터 의존적 일반화 경 Bound를 개발한다.
• Gradient descent로 학습된 두 겹 ReLU 네트워크에 대해 너비(m)와 무관한 넓은 학습 가능 함수 클래스를 식별한다.
• 데이터만으로 계산 가능한 복잡도 척도인 y^T (H^∞)^{-1} y / n을 도입한다.

제안 방법

• 무작위 초기화와 두 번째 층 가중치를 고정한 두 겹 ReLU 네트워크를 모델링한다.
• ReLU 커널에서 파생된 Gram 행렬 H^∞를 통해 학습 역학을 분석한다.
• gradient descent 업데이트를 (I - η H^∞)가 레이블 벡터 y에 작용하는 거듭제곱 방법으로 연관시킨다.
• 훈련 중 매개변수의 이동과 Rademacher 복잡도 논증을 바탕으로 데이터 의존적 일반화 경 Bound를 제공한다.
• 데이터로부터 계산 가능한 y^T (H^∞)^{-1} y / n이라는 데이터 의존적 복잡도 척도를 도입한다.
• bound가 숨겨진 유닛 수 m에 독립적임을 보여준다.

실험 결과

연구 질문

• RQ1 왜 overparameterized 두 겹 네트워크에서 gradient descent가 실제 라벨로 학습될 때 무작위 라벨보다 더 빠르게 수렴하는가?
• RQ2 네트워크 너비에 의존하지 않고 데이터만으로 구분 가능한 데이터 의존적 일반화 경 Bound를 도출할 수 있는가?
• RQ3 overparameterization 하에서 gradient descent로 학습된 두 겹 ReLU 네트워크가 학습할 수 있는 함수의 클래스는 무엇인가?
• RQ4 ReLU에 의해 유도된 커널 Gram 행렬이 최적화 역학과 일반화에 어떤 영향을 미치는가?

주요 결과

• Gradient descent의 수렴 속도는 Gram 행렬 H^∞의 고유벡터에 대한 라벨의 투영에 의해 좌우되며, 라벨이 상위 고유벡터와 정렬될수록 더 빠르게 수렴한다.
• 훈련 손실이 (I - η H^∞)^k y의 제곱 노름처럼 작동한다는 정확한 비형식적 특징화가 가능하며, 서로 다른 라벨에 대한 수렴 속도 비교에 미세한 차이를 가능하게 한다.
• 숨겨진 유닛 수 m에 의존하지 않는 y^T (H^∞)^{-1} y에 의해 좌우되는 데이터 의존적 일반화 경 Bound가 확립된다.
• 일반화 경 Bound는 어떤 데이터 라벨에도 적용되며, 그라운드 트루스 네트워크를 필요로 하지 않으며 MNIST와 CIFAR 실험에서 실제 라벨과 무작위 라벨을 구분할 수 있다.
• 경 Bound는 2층 ReLU 네트가 gradient descent로 학습될 때 넓은 클래스의 매끄러운 함수 학습 가능성을 시사하며, 이전 연구보다 약한 매끄러움 요구를 갖는다.
• 실험에서 제안된 복잡도 척도가 무작위 라벨의 비율이 달라질수록 관찰된 일반화 성능과 일치함을 보인다.