[논문 리뷰] Gradient Descent Learns One-hidden-layer CNN: Don't be Afraid of Spurious Local Minima

Simon S. Du, Jason D. Lee외 3명|arXiv (Cornell University)|2017. 12. 03.

Adversarial Robustness in Machine Learning인용 수 101

한 줄 요약

가중치 정규화를 갖춘 경사하강법은 Gaussian 입력 하에서 비겹치는 패치를 가진 2층 CNN을 학습할 수 있으며, 그럼에도 불구하고 잘못된 로컬 최소가 존재합니다; 여러 번의 무작위 재시작이 성공 확률을 높일 수 있습니다.

ABSTRACT

We consider the problem of learning a one-hidden-layer neural network with non-overlapping convolutional layer and ReLU activation, i.e., $f(\\mathbf{Z}, \\mathbf{w}, \\mathbf{a}) = \\sum_j a_j\\sigma(\\mathbf{w}^T\\mathbf{Z}_j)$, in which both the convolutional weights $\\mathbf{w}$ and the output weights $\\mathbf{a}$ are parameters to be learned. When the labels are the outputs from a teacher network of the same architecture with fixed weights $(\\mathbf{w}^*, \\mathbf{a}^*)$, we prove that with Gaussian input $\\mathbf{Z}$, there is a spurious local minimizer. Surprisingly, in the presence of the spurious local minimizer, gradient descent with weight normalization from randomly initialized weights can still be proven to recover the true parameters with constant probability, which can be boosted to probability $1$ with multiple restarts. We also show that with constant probability, the same procedure could also converge to the spurious local minimum, showing that the local minimum plays a non-trivial role in the dynamics of gradient descent. Furthermore, a quantitative analysis shows that the gradient descent dynamics has two phases: it starts off slow, but converges much faster after several iterations.

연구 동기 및 목표

• 비겹치는 합성층(convolutional layer)을 가진 이층 CNN의 학습 역학 이해를 자극한다.
• 최적화 풍경을 특징짓고, 잘못된 로컬 최소의 존재를 포함한다.
• 가우시안 입력 하에서 랜덤으로 초기화된 경사하강법이 실제 파라미터를 복구할 수 있음을 보인다.
• 수렴이 보장되는 조건을 제시하고 수렴 단계들을 정량화한다.

제안 방법

• 네트워크를 f(Z,w,a)=sum_i a_i sigma(w^T Z_i)로 모델링하되, 비겹치는 패치와 ReLU 활성화를 사용한다.
• 가중치 정규화를 이용해 첫 번째 층을 재매개변수화한다: w = v / ||v|| 이고 손실 ell(v,a)를 분석한다.
• 가우시안 Z에서의 모집단 손실과 기울기 표현을 도출한다(정리 3.1 및 3.2).
• 초기화에 기반한 보장을 가진 경사하강법의 두 단계 수렴을 증명한다(정리 4.1 및 4.2).
• 잘못된 로컬 최소의 존재를 보여주고 특정 초기화가 그것으로 수렴함을 보인다(정리 4.3).
• 전역 수렴을 높은 확률로 보장하는 확률적 초기화 방식을 제공하고 재시작의 역할을 논의한다.

실험 결과

연구 질문

• RQ1 랜덤으로 초기화된 경사하강법이 Gaussian 입력을 가진 한 은닉층 CNN의 실제 가중치를 학습할 수 있는가?
• RQ2 목적 함수에 잘못된 로컬 최소가 존재하는가, 그리고 경사하강법이 여전히 전역 최솟값에 도달할 수 있는가?
• RQ3 초기화와 두 단계의 다이나믹스가 수렴 속도와 성공 확률에 어떤 영향을 미치는가?

주요 결과

• 초기에 특정 초기화 구간에서 경사하강법이 교사 파라미터로 수렴하는 확률이 존재하며, 여러 차례의 재시작으로 그 확률을 1로 높일 수 있다.
• 동일한 무작위 초기화 하에서도 잘못된 로컬 최소가 존재하며, 특정 조건에서 경사하강법이 그 로컬 최소로 수렴할 수 있다.
• 최적화 다이나믹스는 두 단계로 구성되며, 충분한 진행 후 느린 초기 단계가 지나며 선형 속도의 더 빠른 단계로 이어진다.
• 가중치와 실제 가중치 사이의 각도, 그리고 a^T a*에 의존하는 모집단 손실 및 기울기 형태를 명시적으로 제공한다.
• 가우시안 입력 하에서 적절한 재시작을 가정하면 랜덤으로 초기화된 경사하강법에 대한 다항 시간 수렴 보장을 시사한다.