[논문 리뷰] Stationary Points of Shallow Neural Networks with Quadratic Activation Function

David Gamarnik, Eren C. Kızıldağ외 1명|arXiv (Cornell University)|2019. 12. 03.

Stochastic Gradient Optimization Techniques참고 문헌 62인용 수 8

한 줄 요약

이 논문은 교사-학생 프레임워크 하에서 이차 활성 함수를 갖는 얕은 신경망의 최적화 지형을 분석한다. 연구는 기울기 하강법이 정량화된 에너지 장벽 이하로 초기화될 경우 다항식 시간 내에 전역 최적해로 수렴함을 입증하며, 과다 매개변수화 조건 하에서 스케일링된 항등행렬로 초기화할 경우 이러한 초기화 조건을 충족시킴을 보여준다. 이는 랜덤 매트릭스 이론을 활용한 것이다.

ABSTRACT

We consider the teacher-student setting of learning shallow neural networks with quadratic activations and planted weight matrix $W^*\in\mathbb{R}^{m imes d}$, where $m$ is the width of the hidden layer and $d\le m$ is the data dimension. We study the optimization landscape associated with the empirical and the population squared risk of the problem. Under the assumption the planted weights are full-rank we obtain the following results. First, we establish that the landscape of the empirical risk admits an "energy barrier" separating rank-deficient $W$ from $W^*$: if $W$ is rank deficient, then its risk is bounded away from zero by an amount we quantify. We then couple this result by showing that, assuming number $N$ of samples grows at least like a polynomial function of $d$, all full-rank approximate stationary points of the empirical risk are nearly global optimum. These two results allow us to prove that gradient descent, when initialized below the energy barrier, approximately minimizes the empirical risk and recovers the planted weights in polynomial-time. Next, we show that initializing below this barrier is in fact easily achieved when the weights are randomly generated under relatively weak assumptions. We show that provided the network is sufficiently overparametrized, initializing with an appropriate multiple of the identity suffices to obtain a risk below the energy barrier. At a technical level, the last result is a consequence of the semicircle law for the Wishart ensemble and could be of independent interest. Finally, we study the minimizers of the empirical risk and identify a simple necessary and sufficient geometric condition on the training data under which any minimizer has necessarily zero generalization error. We show that as soon as $N\ge N^*=d(d+1)/2$, randomly generated data enjoys this geometric condition almost surely, while that ceases to be true if $N

연구 동기 및 목표

• 교사-학생 설정 하에서 이차 활성 함수를 갖는 얕은 신경망의 최적화 지형을 이해하기 위해.
• 기울기 하강법이 전역 최적해로 수렴하는 조건을 규명하기 위해.
• 초기화가 열 劣한 국소 최적해를 피하는 데서 수행하는 역할을 특성화하기 위해.
• 제로 일반화 오차를 달성하기 위한 훈련 샘플의 임계 수를 결정하기 위해.
• 최소화자가 제로 일반화 오차를 달성하는 데 기하학적 조건을 설정하기 위해.

제안 방법

• 식별된 가중치 행렬이 전위수인 것으로 가정할 때, 경험 위험 함수와 인구 위험 함수를 분석한다.
• 질량 결함이 있는 가중치 행렬과 진짜 가중치 행렬 $W^*$ 사이를 분리하는 에너지 장벽을 도입하며, 질량 결함이 있는 $W$에 대해 경험 위험의 하한을 정량화한다.
• 특히 위샤르트 집합에 대한 반원 법칙을 활용한 랜덤 매트릭스 이론을 사용하여, 스케일링된 항등행렬로 초기화할 경우 위험 함수가 에너지 장벽 이하에 위치할 확률이 높음을 보여준다.
• 표본 수 $N$ 이 차원 $d$ 에 대해 다항식적으로 증가할 경우, 경험 위험 함수의 전위수 근사 정류점은 거의 전역 최적해임을 입증한다.
• 최소화자가 제로 일반화 오차를 달성하기 위한 훈련 데이터에 대한 必要하고 충분한 기하학적 조건을 유도하며, 이는 $X_i X_i^T$ 의 스트레칭에 기반한다.
• 트레이스 부등식과 스펙트럼 노름 한계와 같은 선형 대수학 및 랜덤 매트릭스 이론 도구를 활용하여 위험 함수의 하한을 도출한다.

실험 결과

연구 질문

• RQ1 얕은 신경망에서 이차 활성 함수를 갖는 경우 기울기 하강법이 전역 최적해로 수렴하는 조건은 무엇인가?
• RQ2 비볼록 최적화 지형에서 초기화가 열 劣한 국소 최적해를 피하는 데서 수행하는 역할은 무엇인가?
• RQ3 최소화자가 제로 일반화 오차를 달성하기 위한 훈련 샘플 수의 임계 수 $N^*$ 는 얼마인가?
• RQ4 훈련 데이터에 대한 어떤 기하학적 조건이 모든 최소화자가 제로 일반화 오차를 달성하도록 보장하는가?
• RQ5 질량 결함이 있는 가중치 행렬에 대해 경험 위험 함수는 어떻게 행동하며, 이를 정량화할 수 있는가?

주요 결과

• 질량 결함이 있는 $W$ 에 대해 경험 위험 함수 $\widehat{\mathcal{L}}(W)$ 는 정량화된 에너지 장벽으로 인해 진짜 가중치 행렬 $W^*$ 로부터 분리되어 0과 거리가 떨어져 있다.
• 표본 수 $N$ 이 차원 $d$ 에 대해 다항식적으로 증가할 경우, 경험 위험 함수 $\widehat{\mathcal{L}}(W)$ 의 모든 전위수 근사 정류점은 거의 전역 최적해이다.
• 에너지 장벽 이하로 초기화된 기울기 하강법은 경험 위험 함수를 약간 최소화하며, 다항식 시간 내에 $W^*$ 를 복구한다.
• 적절한 배수의 항등행렬로 랜덤 초기화할 경우, 네트워크가 충분히 과다 매개변수화되어 있을 때 위험 함수가 에너지 장벽 이하에 위치할 가능성이 높다.
• 제로 일반화 오차를 달성하기 위한 임계 샘플 수는 $N^* = d(d+1)/2$ 이며, 이 임계값은 랜덤 데이터일 경우 $N \geq N^*$ 일 때 거의 확실히 달성된다.
• 제로 일반화 오차를 달성하기 위한 필수 및 충분한 기하학적 조건은 $\{X_i X_i^T\}$ 의 스트레칭이 대칭 $d \times d$ 행렬의 공간과 일치하는 것이다. 이 조건은 $N \geq d(d+1)/2$ 일 때 거의 확실히 성립한다.