[논문 리뷰] A Local Convergence Theory for Mildly Over-Parameterized Two-Layer Neural Network

Mo Zhou, Rong Ge외 1명|arXiv (Cornell University)|2021. 02. 04.

Neural Networks and Applications참고 문헌 15인용 수 7

한 줄 요약

이 논문은 약간의 과잉 파rameter화된 이중층 신경망에 대해 국소 수렴 이론을 수립하며, 손실이 분리 및 너비 파ram터에 대해 다항식으로 표현되는 임계값 이하일 경우 경사 하강법이 모든 학생 뉴런이 교사 뉴런과 정렬되는 전역 최적해로 수렴함을 보여준다. 주요 기여는 강력한 볼록성 또는 PL 조건과는 다름없는 새로운 종류의 로자예프리치 유형 경사 성질을 통한 최적화 경관의 특성화로, 이는 네트워크 크기와 무관하게 수렴 가능하게 하며 신경 탄성 커널 영역을 초월한 유효성을 지닌다.

ABSTRACT

While over-parameterization is widely believed to be crucial for the success of optimization for the neural networks, most existing theories on over-parameterization do not fully explain the reason -- they either work in the Neural Tangent Kernel regime where neurons don't move much, or require an enormous number of neurons. In practice, when the data is generated using a teacher neural network, even mildly over-parameterized neural networks can achieve 0 loss and recover the directions of teacher neurons. In this paper we develop a local convergence theory for mildly over-parameterized two-layer neural net. We show that as long as the loss is already lower than a threshold (polynomial in relevant parameters), all student neurons in an over-parameterized two-layer neural network will converge to one of teacher neurons, and the loss will go to 0. Our result holds for any number of student neurons as long as it is at least as large as the number of teacher neurons, and our convergence rate is independent of the number of student neurons. A key component of our analysis is the new characterization of local optimization landscape -- we show the gradient satisfies a special case of Lojasiewicz property which is different from local strong convexity or PL conditions used in previous work.

연구 동기 및 목표

• 기존 이론의 한계에도 불구하고 실무에서 약간의 과잉 파arameter화된 이중층 신경망이 왜 전역 최적해로 수렴하는지 설명하기 위해.
• 학습자 뉴런 수가 교사 네트워크의 뉴런 수와 약간만 많을 때의 국소 수렴에 대한 이해 격차를 메우기 위해.
• 신경 탄성 커널 영역과 달리 뉴런이 초기화 상태에서 크게 이동할 수 있도록 하는 이론을 개발하기 위해.
• 강력한 볼록성 또는 PL 조건과는 다른 새로운 경사 성질을 통해 국소 최적화 경관을 특성화하기 위해.
• 학습자 뉴런의 수에 따라 달라지지 않는 수렴 속도를 갖는 전역 최적해로의 수렴을 증명하기 위해.

제안 방법

• 전역 최적해 근처에서 경사의 행동을 지배하는 특수한 로자예프리치 성질의 한 형태를 기반으로 한 새로운 국소 최적화 경관 특성화를 도입한다.
• 분리도 Δ와 교사 뉴런 수 r에 기반한 임계값 τ = poly(Δ/r)를 정의하며, 이 값 이하일 경우 수렴이 보장된다.
• 내림폭 보장 및 수렴을 확보하기 위해 단계 크기 η ≤ O(min{r^{-1/2}w_{max}^{-1/2}κ, r^{-1}w_{max}^{-1}})를 갖는 경사 하강법을 사용한다.
• 유한 샘플 추정치를 이용해 확률적 경사의 농도를 확보함으로써 데이터 샘플링 오차에 대한 강건성을 확보한다.
• 임계값 이하일 경우 손실이 O(1/t)의 속도로 감소하며, 손실이 0으로 수렴함을 증명한다.
• 로자예프리치 유형 조건을 활용해 네트워크 폭과 무관하게 손실 제곱의 선형 수렴 속도를 유도한다.

실험 결과

연구 질문

• RQ1 초기 손실이 특정 임계값 이하일 경우, 약간의 과잉 파arameter화된 이중층 신경망에서 경사 하강법이 전역 최적해로 수렴할 수 있는가?
• RQ2 학습자 뉴런 수가 교사 뉴런 수 이상일 경우, 수렴 행동이 학습자 뉴런 수에 관계없이 유지되는가?
• RQ3 강력한 볼록성 또는 PL 조건에 의존하지 않고 수렴을 가능하게 하는 국소 최적화 경관의 본질은 무엇인가?
• RQ4 수렴 속도는 네트워크 폭과 초기화에 어떻게 의존하며, 뉴런 수에 따라 달라지지 않을 수 있는가?
• RQ5 이론이 실무에서 관측된 학생 뉴런과 교사 뉴런 방향이 일치하는 현상을 설명할 수 있는가?

주요 결과

• 논문은 손실이 τ = poly(Δ/r) 이하일 경우, 경사 하강법이 모든 학생 뉴런이 교사 뉴런의 방향과 일치하는 전역 최적해로 수렴함을 증명한다.
• 학습자 뉴런 수에 관계없이 수렴 속도가 O(1/t)로 유지되며, 네트워크가 약간 과잉 파arameter화된 경우에도 성립한다.
• 핵심 메커니즘은 전역 최적해 근처에서 성립하는 새로운 로자예프리치 유형 경사 성질이며, 이는 PL 또는 강력한 볼록성과는 다름없다.
• 수렴 임계값 τ는 학습자 네트워크 크기와는 무관하게 분리도 Δ와 교사 뉴런 수 r에만 의존한다.
• 분석은 학습자 뉴런 수가 r 이상일 경우에 대해 항상 유효하며, 수렴 속도는 유한 샘플 확률적 경사 추정치에 대해 강건하다.
• 이론은 뉴런이 초기화 상태에서 크게 이동하는 과잉 파arameter화된 설정에서도 뉴런 정렬 현상을 설명할 수 있다.