[논문 리뷰] The loss landscape of overparameterized neural networks

Yaim Cooper|arXiv (Cornell University)|2018. 04. 26.

Stochastic Gradient Optimization Techniques참고 문헌 3인용 수 36

한 줄 요약

이 논문은 과다 매개변수화된 신경망에서 학습 데이터 포인트 수를 초과하는 매개변수를 가진 경우, 손실 함수의 전역 최소값이 이산적인 점이 아니라 $ n - d $ 차원의 고차원 부분다양체를 이룬다는 것을 보여준다. 이 기하학적 구조는 최적 해에서 헤시안 행렬의 영 고유값이 흔하게 나타나는 것을 설명하며, 비볼록성에도 불구하고 딥 러닝 최적화가 자주 성공하는 이유를 밝혀낸다.

ABSTRACT

We explore some mathematical features of the loss landscape of overparameterized neural networks. A priori one might imagine that the loss function looks like a typical function from $\mathbb{R}^n$ to $\mathbb{R}$ - in particular, nonconvex, with discrete global minima. In this paper, we prove that in at least one important way, the loss function of an overparameterized neural network does not look like a typical function. If a neural net has $n$ parameters and is trained on $d$ data points, with $n>d$, we show that the locus $M$ of global minima of $L$ is usually not discrete, but rather an $n-d$ dimensional submanifold of $\mathbb{R}^n$. In practice, neural nets commonly have orders of magnitude more parameters than data points, so this observation implies that $M$ is typically a very high-dimensional subset of $\mathbb{R}^n$.

연구 동기 및 목표

• 과다 매개변수화된 신경망의 손실 곡면 기하학적 구조를 이해하기 위해.
• 고차원 매개변수 공간에서 전역 최소값이 일반적으로 이산적인 점이라는 가정을 도전하기 위해.
• 매개변수 수 $ n $ 이 데이터 포인트 수 $ d $ 를 초과할 때, 전역 최소값의 집합이 매끄러운 $ n-d $ 차원 부분다양체를 이룬다는 것을 증명하기 위해.
• 손실 곡면의 기하학적 성질을 학습된 모델에서 관찰된 헤시안 행렬의 영 고유값 관측치와 연결하기 위해.
• 직선 활성화 함수를 가진 피드포워드 네트워크에서 전역 최소값이 달성 가능한 조건(즉, 손실 = 0)을 설정하기 위해.

제안 방법

• 손실 함수 $ L(w,b) = \sum (f_{w,b}(x_i) - y_i)^2 $ 를 $ \mathbb{R}^n $ 에서 $ \mathbb{R} $ 로의 매끄러운 사상으로 이론적으로 분석하기 위해.
• 일반 조건 하에서 $ M = L^{-1}(0) $ 가 매끄러운 $ n-d $ 차원 부분다양체임을 보이기 위해 미분기하학을 적용하기 위해.
• 암시함수정리와 정규값 이론을 사용하여 전역 최소값 집합의 다각형 기하학적 구조를 확립하기 위해.
• 최종 히든 레이어의 너비 $ h \geq d $ 를 가진, 모든 데이터셋을 기억할 수 있는, 매끄러운 ReLU 활성화 함수를 가진 신경망 아키텍처를 구성하기 위해.
• 데이터와 활성화 함수에 대한 약한 가정 하에서 이러한 네트워크에서 전역 최소값 집합 $ M $ 이 비어있지 않고 매끄럽다는 것을 증명하기 위해.
• 각 출력 차원을 별도로 다루고 적절히 계수를 조정함으로써 다중 클래스 출력으로 결과를 확장하기 위해.

실험 결과

연구 질문

• RQ1 과다 매개변수화된 신경망의 손실 곡면은 비이산적인 전역 최소값 집합을 가지는가?
• RQ2 과다 매개변수화된 설정에서 전역 최소값의 다각형 기하학적 차원은 무엇인가?
• RQ3 이러한 설정에서 전역 최소값에서 손실 함수의 헤시안은 어떻게 행동하는가?
• RQ4 어떤 아키텍처 및 활성화 함수 조건에서 신경망이 영 훈련 오차를 달성할 수 있는가?
• RQ5 손실 곡면의 기하학적 구조는 많은 영 헤시안 고유값 관측치를 설명할 수 있는가?

주요 결과

• 매개변수 수 $ n $ 이 데이터 포인트 수 $ d $ 를 초과할 때, 전역 최소값 집합 $ M = L^{-1}(0) $ 는 일반적으로 $ \mathbb{R}^n $ 의 매끄러운 $ n-d $ 차원 부분다양체이다.
• 모든 전역 최소값 $ m \in M $ 에서 손실 함수의 헤시안은 정확히 $ n-d $ 개의 영 고유값, $ d $ 개의 양의 고유값, 그리고 음의 고유값을 가지지 않는다.
• 최종 레이어 너비가 $ d $ 이상인 피드포워드 네트워크에서 매끄러운 ReLU 활성화 함수를 사용할 경우, 전역 최소값은 달성 가능하다(즉, $ M $ 이 비어있지 않다) 하며, 매끄러운 $ n-d $ 차원 부분다양체를 이룬다.
• 함수 $ f_i $ 가 매끄럽고 $ a \geq 1 $ 이면, 손실 함수의 일반형 $ \sum |f_i(w,b) - y_i|^a $ 에 대해서도 결과가 성립한다.
• 손실 곡면의 기하학적 구조—특히 최소값의 고차원 다각형 기하학적 구조—는 학습된 모델에서 관측된 다수의 영 헤시안 고유값을 이론적으로 설명한다.
• 결과는 다차원 출력에 대해서도 강건하며, 출력이 $ \mathbb{R}^\ell $ 에 속할 경우 최소값의 다각형 기하학적 구조는 계수 $ \ell d $ 를 가진다.