[논문 리뷰] Optimization and Generalization of Shallow Neural Networks with Quadratic Activation Functions

Stefano Sarao Mannelli, Eric Vanden‐Eijnden외 1명|arXiv (Cornell University)|2020. 06. 27.

Stochastic Gradient Optimization Techniques참고 문헌 30인용 수 16

한 줄 요약

이 논문은 과다 매개변수화된 영역에서 이중 활성 함수를 갖는 한 은닉층 신경망을 연구하며, 학습 샘플 수가 입력 차원 당 임계 임계값 $\alpha_c = m^* + 1$를 초과할 경우 경험 손실에 대한 경사 하강법이 높은 확률로 타치터 네트워크로 수렴함을 보여준다. 이 조건 하에서 일반화 오차가 사라지며, 모델 차원에 따라 명시적인 수렴 속도, 즉 $O(t^{-2})$와 지수 감소가 도출된다.

ABSTRACT

We study the dynamics of optimization and the generalization properties of one-hidden layer neural networks with quadratic activation function in the over-parametrized regime where the layer width $m$ is larger than the input dimension $d$. We consider a teacher-student scenario where the teacher has the same structure as the student with a hidden layer of smaller width $m^*\le m$. We describe how the empirical loss landscape is affected by the number $n$ of data samples and the width $m^*$ of the teacher network. In particular we determine how the probability that there be no spurious minima on the empirical loss depends on $n$, $d$, and $m^*$, thereby establishing conditions under which the neural network can in principle recover the teacher. We also show that under the same conditions gradient descent dynamics on the empirical loss converges and leads to small generalization error, i.e. it enables recovery in practice. Finally we characterize the time-convergence rate of gradient descent in the limit of a large number of samples. These results are confirmed by numerical experiments.

연구 동기 및 목표

• 과다 매개변수화된 얕은 신경망이 이차 활성 함수를 갖는 경우 최적화를 통해 진짜 타치터 네트워크를 복원할 수 있는 조건을 이해하는 것.
• 경험 손실의 최적화가 타치터 네트워크에서 유일한 전역 최소값을 갖도록 하기 위해 필요한 최소 학습 샘플 수를 규명하는 것.
• 경험 손실에 대한 경사 하강법의 수렴 동역학과 일반화 성능을 특성화하는 것.
• 대칭적이지 않은 수렴 속도를 대규모 샘플 수 한계에서 정량화하는 것.
• 초기 가중치와 타치터 가중치를 연결하는 최소 에너지 경로를 식별하기 위해 스트링 방법을 사용하여 손실 곡면의 구조를 탐색하는 것.

제안 방법

• 한 은닉층 네트워크와 이차 활성 함수를 갖는 타치터-학생 프레임워크에서 경험 손실 곡면을 분석한다.
• 입력 차원당 샘플 수 $n$에 대한 임계 샘플 복잡도 임계값 $\alpha_c = m^* + 1$를 유도하며, 이 값 이상일 경우 최소화자 집합이 높은 확률로 타치터 네트워크로 축소됨을 보여준다.
• 동역학을 지배하는 헤시안 유사 행렬의 고유값의 진화를 레온티프-볼타 유사 미분방정식계로 모델링한다.
• 경험 손실에 대한 경사 하강법 흐름을 사용하여 낮은 일반화 오차로 수렴함을 연구하며, 손실 감쇠 속도에 대한 명시적 상한을 도출한다.
• 손실 곡면을 탐색하고 초기 가중치에서 타치터 네트워크로 이어지는 최소 에너지 경로를 식별하기 위해 스트링 방법을 적용한다.
• 점근적 및 수치적 분석을 활용하여 고차원 근사에서 수렴 속도와 고유값 동역학을 검증한다.

실험 결과

연구 질문

• RQ1 입력 차원 $d$, 타치터 네트워크의 너비 $m^*$, 그리고 샘플 수 $n$ 에 대해 경험 손실 곡면에 임의의 최소값이 존재하지 않는 조건은 무엇인가?
• RQ2 경험 손실에 대한 경사 하강법이 진짜 타치터 네트워크로 수렴할 수 있으며, 이러한 수렴이 발생하는 샘플 복잡도 임계값은 무엇인가?
• RQ3 대규모 샘플 수 영역에서 경험 손실에 대한 경사 하강법의 비점근 수렴 속도는 무엇인가?
• RQ4 손실 감쇠 속도가 $d$, $m$, $m^*$와 같은 모델 하이퍼파rameter에 어떻게 의존하는가?
• RQ5 스트링 방법을 통해 드러나는 손실 곡면의 구조적 특성(에너지 장벽 또는 평탄한 영역 등)은 무엇인가?

주요 결과

• 모든 최소화자에서 경험 손실의 값은 0이지만, $n/d \geq m^* + 1$일 경우 최소화자 집합이 높은 확률로 타치터 네트워크로 구성된 싱글릿으로 축소된다.
• 경험 손실에 대한 경사 하강법은 $n/d \geq m^* + 1$일 경우 일반화 오차가 작은 해로 수렴하며, 이는 타치터 네트워크의 실용적 복원을 가능하게 한다.
• 일부 영역에서는 큰 $t$에 대해 손실이 $O(t^{-2})$로 감소하고 다른 영역에서는 지수 감소를 보이며, 이는 $d$와 $m^*$의 상대적 크기에 따라 달라진다.
• 일부 $C_1, C_2 > 0$에 대해 수렴 속도는 $C_1 / (1 + C_2 t)$로 상한이 제시되며, 이 시간 상수는 고유값 동역학으로부터 명시적으로 유도된다.
• 스트링 방법은 초기 가중치에서 타치터 네트워크로 이어지는 경로, 특히 평탄한 영역이나 에너지 장벽을 통과하는 경로를 포함하여 손실 곡면에 존재함을 드러낸다.
• 수치적 검증을 통해 도출된 고유값 동역학과 수렴 근사가 특히 고차원 근사에서 매우 정확함을 확인한다.