[논문 리뷰] SGD Learns Over-parameterized Networks that Provably Generalize on Linearly Separable Data

Alon Brutzkus, Amir Globerson외 2명|arXiv (Cornell University)|2017. 10. 27.

Neural Networks and Applications참고 문헌 22인용 수 37

한 줄 요약

이 논문은 과도하게 파rameter화된 두 층으로 구성된 신경망에 대해 확률적 경사 하강법(SGD)이 선형으로 분리 가능한 데이터에서 일반화 성능을 잘 유지할 수 있음을 증명한다. Leaky ReLU 활성화 함수를 사용하는 모델이 고도의 표현 능력을 지닌다 해도 말이다. 이 논문은 네트워크 크기와 무관하게 전역 최소값으로 수렴하고 일반화 한계를 도출함으로써, SGD의 인도적 편향이 과도한 파arameter화에도 불구하고 과적합을 방지함을 보여준다.

ABSTRACT

Neural networks exhibit good generalization behavior in the over-parameterized regime, where the number of network parameters exceeds the number of observations. Nonetheless, current generalization bounds for neural networks fail to explain this phenomenon. In an attempt to bridge this gap, we study the problem of learning a two-layer over-parameterized neural network, when the data is generated by a linearly separable function. In the case where the network has Leaky ReLU activations, we provide both optimization and generalization guarantees for over-parameterized networks. Specifically, we prove convergence rates of SGD to a global minimum and provide generalization guarantees for this global minimum that are independent of the network size. Therefore, our result clearly shows that the use of SGD for optimization both finds a global minimum, and avoids overfitting despite the high capacity of the model. This is the first theoretical demonstration that SGD can avoid overfitting, when learning over-specified neural network classifiers.

연구 동기 및 목표

• 과도하게 파arameter화된 신경망에서 SGD가 왜 잘 일반화되는지 설명하는 것.
• 과도하게 파arameter화된 설정에서의 일반화에 대한 경험적 성공과 이론적 이해 사이의 격차를 메우는 것.
• SGD로 훈련된 과도하게 파arameter화된 네트워크에 대해 증명 가능한 일반화 및 최적화 보장을 제공하는 것.
• SGD가 데이터를 완전히 기억할 수 있을 정도로 rich한 네트워크에서도 과적합을 피하는지 보여주는 것.
• 선형으로 분리 가능한 데이터와 Leaky ReLU 활성화 함수의 맥락에서 SGD의 인도적 편향을 분석하는 것.

제안 방법

• 이 연구는 두 층으로 구성된 과도하게 파arameter화된 신경망을 분석하며, Leaky ReLU 활성화 함수를 사용하고 두 번째 층의 가중치 v = (1,…,1,−1,…,−1)는 고정되어 있다.
• 이 연구는 i.i.d. 선형으로 분리 가능한 데이터 위에서 경험 허브 손실을 최소화하기 위해 확률적 경사 하강법(SGD)을 사용한다.
• 분석을 통해 데이터와 초기화에 대한 약한 가정 하에 SGD의 전역 최소값 수렴 속도를 증명한다.
• 네트워크 폭과 무관한 일반화 한계를 도출함으로써 과도한 파arameter화에 대한 강건성을 보여준다.
• 이론적 증명은 국소 최소값을 구성하고, 네트워크 폭과 초기화에 기반해 SGD가 전역 최소값으로 수렴할 확률과 비전역 최소값으로 수렴할 확률을 분석하는 데 의존한다.

실험 결과

연구 질문

• RQ1 SGD는 선형으로 분리 가능한 데이터에 대해 과도하게 파arameter화된 신경망에서 과적합을 피할 수 있는가?
• RQ2 SGD의 최적화 과정은 낮은 복잡도의 해를 선호하는 인도적 편향을 유도하는가?
• RQ3 SGD가 전역 최소값이 아닌 열악한 국소 최소값으로 수렴하지 않도록 보장하는 조건은 무엇인가?
• RQ4 네트워크 폭은 전역 최소값으로 수렴할 확률과 비전역 최소값으로 수렴할 확률에 어떤 영향을 미치는가?
• RQ5 과도하게 파arameter화된 설정에서 네트워크 크기와 무관한 일반화 한계를 도출할 수 있는가?

주요 결과

• SGD는 선형으로 분리 가능한 데이터에 대해 Leaky ReLU 활성화 함수를 사용하는 과도하게 파arameter화된 네트워크에서 전역 최소값으로 수렴한다.
• 일반화 오차 한계는 네트워크 폭과 무관하여, 과도한 파arameter화에 대한 강건성을 증명한다.
• 충분히 넓은 네트워크( k ≥ log₂(2d/δ) )에서는 SGD가 높은 확률(≥1−δ)로 전역 최소값으로 수렴한다.
• 좁은 네트워크( k ≤ log₂(d/−ln(δ)))에서는 SGD가 높은 확률로 비전역 최소값으로 수렴할 수 있다.
• 손실 함수에는 임의로 나쁜 국소 최소값이 존재하지만, 네트워크가 충분히 넓을 경우 SGD는 이를 피함으로써 인도적 편향을 보여준다.