[논문 리뷰] The critical locus of overparameterized neural networks

Yaim Cooper|arXiv (Cornell University)|2020. 05. 08.

Stochastic Gradient Optimization Techniques참고 문헌 17인용 수 4

한 줄 요약

이 논문은 오버파ram터화된 피드포워드 신경망에서 임계점의 기하학을 조사하며, 양의 차원을 가진 '스타 로커스' S와 그 내부의 특이핵심 로커스 C를 규명한다. 깊은 네트워크(깊이 ≥ 4)의 경우, C에 속하는 임계점들이 정확히 하나의 비영이 아닌 헤시안 고유값을 가지며, 특이성이 있음을 증명하고, 영이 아닌 헤시안 고유값의 수가 네트워크의 폭 m에 따라 선형적으로 증가함을 보이며, 경사하강법이 전역 최소값이 아닌 점으로 수렴할 수 있는 이유에 대한 기초적인 통찰을 제공한다.

ABSTRACT

Many aspects of the geometry of loss functions in deep learning remain mysterious. In this paper, we work toward a better understanding of the geometry of the loss function $L$ of overparameterized feedforward neural networks. In this setting, we identify several components of the critical locus of $L$ and study their geometric properties. For networks of depth $\ell \geq 4$, we identify a locus of critical points we call the star locus $S$. Within $S$ we identify a positive-dimensional sublocus $C$ with the property that for $p \in C$, $p$ is a degenerate critical point, and no existing theoretical result guarantees that gradient descent will not converge to $p$. For very wide networks, we build on earlier work and show that all critical points of $L$ are degenerate, and give lower bounds on the number of zero eigenvalues of the Hessian at each critical point. For networks that are both deep and very wide, we compare the growth rates of the zero eigenspaces of the Hessian at all the different families of critical points that we identify. The results in this paper provide a starting point to a more quantitative understanding of the properties of various components of the critical locus of $L$.

연구 동기 및 목표

• 오버파라미터화된 깊은 신경망에서 손실 함수 L의 임계로커스 기하학적 구조를 이해하기 위해.
• 특히 특이핵심점들을 포함한 양의 차원을 가진 임계점의 가 Families 를 식별하고 특성화하기 위해.
• 임계로커스의 차원과 영 헤시안 고유값의 수가 네트워크 폭 m에 따라 어떻게 척도가 되는지 정량화하기 위해.
• 깊고 매우 넓은 네트워크에서 다양한 임계점 가족의 성장률을 비교하기 위해.
• 특히 전역 최소값과 비전역 임계점의 맥락에서 임계점의 특이성에 대한 이론적 경계를 제공하기 위해.

제안 방법

• 깊은 네트워크(깊이 ℓ ≥ 4)에서 오버파라미터화된 아키텍처의 구조적 대칭성에서 유도된 바, 스타 로커스 S를 양의 차원을 가진 임계로커스로 식별한다.
• 헤시안 고유값이 정확히 하나만 비영인 특이핵심 임계점의 부분로커스로서 C ⊂ S를 정의한다.
• 대수기하학과 헤시안 분석을 사용하여 S와 C의 차원을 계산하며, dim(S) = (ℓ−3)m² + (a+1)m 및 dim(C) = (ℓ−4)m² + (a+1)m 를 도출한다.
• Nguyen(2019) 및 Lee, Dohan, Suleiman(2018)의 결과를 적용하여 매우 넓은 네트워크에서는 모든 임계점이 특이적임을 보이며, 최소 (m−n+1)b개의 영 헤시안 고유값을 가짐을 보인다.
• 모든 임계점에서 헤시안의 영 고유값 수에 대한 하한을 도출하며, 비전역 최소값의 경우 m에 대해 선형적으로 증가함을 보인다.
• m이 증가함에 따라 다양한 임계점 가족의 임계로커스 차원과 영 고유공간 차원의 점근적 성장률을 비교한다.

실험 결과

연구 질문

• RQ1 오버파라미터화된 깊은 신경망에서 손실 함수의 임계로커스의 기하학적 및 위상수학적 성질은 무엇인가?
• RQ2 깊고 비선형적인 네트워크에서 특이핵심 임계점의 양의 차원 가족이 존재할 수 있는가? 존재한다면 그 차원은 무엇인가?
• RQ3 다양한 유형의 임계점에서 헤시안의 영 고유값 수가 네트워크 폭 m에 따라 어떻게 증가하는가?
• RQ4 네트워크 폭이 증가함에 따라 전역 최소값의 로커스, 스타 로커스, 기타 임계로커스의 차원은 어떻게 비교되는가?
• RQ5 특이성과 헤시안 구조는 경사하강법의 수렴 행동에 어떤 제약을 가하는가?

주요 결과

• 깊은 네트워크(ℓ ≥ 4)의 경우, 스타 로커스 S는 차원이 (ℓ−3)m² + (a+1)m 인 양의 차원을 가진 임계로커스이다.
• S 내부의 핵심 로커스 C는 정확히 하나의 비영이 아닌 헤시안 고유값을 가지며 특이핵심 임계점으로 구성되어 있으며, 차원은 (ℓ−4)m² + (a+1)m 이다.
• 매우 넓은 네트워크에서는 모든 임계점이 특이적이며, 최소 (m−n+1)b개의 영 헤시안 고유값을 가진다.
• 모든 전역 최소값이 아닌 임계점에서 헤시안의 영 고유값 수는 m에 대해 선형적으로 증가한다.
• 전역 최소값의 로커스 M은 차원 d−bn이며, 스타 로커스나 비전역 임계점의 수준집합 내 선형 부분공간보다 m에 대해 더 빠르게 증가한다.
• m이 증가함에 따라 전역 최소값의 로커스 차원이 가장 빠르게 증가하며, 그 다음 스타 로커스, 그 다음 비전역 임계점의 수준집합 내 선형 부분공간의 순서로 증가한다.