[논문 리뷰] Convergence Analysis of Two-layer Neural Networks with ReLU Activation

Yuanzhi Li, Yuan Yang|arXiv (Cornell University)|2017. 05. 28.

Stochastic Gradient Optimization Techniques참고 문헌 23인용 수 273

한 줄 요약

이 논문은 Gaussian 입력하에서 아이덴티티 매핑이 있는 이층 ReLU 네트워크에 대해 SGD가 전역 최솟값으로 수렴한다는 것을 두 단계 수렴 프레임워크를 통해 증명하고, 보조 실험을 제공한다.

ABSTRACT

In recent years, stochastic gradient descent (SGD) based techniques has become the standard tools for training neural networks. However, formal theoretical understanding of why SGD can train neural networks in practice is largely missing. In this paper, we make progress on understanding this mystery by providing a convergence analysis for SGD on a rich subset of two-layer feedforward networks with ReLU activations. This subset is characterized by a special structure called "identity mapping". We prove that, if input follows from Gaussian distribution, with standard $O(1/\sqrt{d})$ initialization of the weights, SGD converges to the global minimum in polynomial number of steps. Unlike normal vanilla networks, the "identity mapping" makes our network asymmetric and thus the global minimum is unique. To complement our theory, we are also able to show experimentally that multi-layer networks with this mapping have better performance compared with normal vanilla networks. Our convergence theorem differs from traditional non-convex optimization techniques. We show that SGD converges to optimal in "two phases": In phase I, the gradient points to the wrong direction, however, a potential function $g$ gradually decreases. Then in phase II, SGD enters a nice one point convex region and converges. We also show that the identity mapping is necessary for convergence, as it moves the initial point to a better place for optimization. Experiment verifies our claims.

연구 동기 및 목표

• 실제로 왜 SGD가 신경망을 학습시키는지에 대한 이론적 이해를 동기 부여한다.
• 대칭을 깨고 최적화를 용이하게 하기 위해 아이덴티티 매핑이 있는 이층 ReLU 네트워크를 도입한다.
• 가우시안 입력과 작은 초기화 하에서 ground truth W*로의 두 단계 수렴을 증명한다.
• 수렴 및 성능에 대한 아이덴티티 매핑의 필요성과 효과를 입증한다.
• 이론과 관측된 학습 역학을 일치시키는 실험적 증거를 제공한다.

제안 방법

• 아이덴티티 매핑이 있는 이층 ReLU 네트워크를 모델링하고 분석한다: f(x,W)=||ReLU((I+W)^T x)||1.
• 학생과 교사 네트워크 간의 L2 손실을 사용한다: L(W)=E_x[(f(x,W)−f(x,W∗))^2].
• 수렴을 연구하기 위해 포텐셜 함수 g = ∑_i (||e_i+w_i∗||^2 − ||e_i+w_i||^2) 를 정의한다.
• 두 단계 SGD 수렴 프레임워크를 확립한다: Phase I은 g를 줄이고 영역에 접근하게 하고; Phase II는 한 점 볼록성을 달성하고 W∗로 수렴한다.
• W와 W∗에 대한 의존성과 상관된 ReLU 활성화 를 다루기 위한 공동 테일러 기반 근사를 도입한다.
• 경계가 있는 잡음을 갖는 작은 스텝 SGD가 특정 노름과 초기화 하에서 수렴으로 이어진다는 것을 증명한다.

실험 결과

연구 질문

• RQ1 가우시안 입력에서 아이덴티티 매핑이 있는 이층 ReLU 네트워크에 대해 SGD가 ground-truth 가중치 W∗로 수렴하는가?
• RQ2 아이덴티티 매핑이 손실 지형과 수렴 특성에 일반 네트워크(바닐라)와 비교해 어떤 영향을 미치는가?
• RQ3 두 단계 프레임워크(포텐셜 기반 Phase I과 볼록 Phase II)가 작은 초기화에서 수렴을 보장할 수 있는가?
• RQ4 W0와 W∗의 초기화 및 스펙트럴 노름 한계가 수렴에서 어떤 역할을 하는가?
• RQ5 이론적 통찰이 가우시안 입력을 넘어선 완만한 분포 가정에도 강건한가?

주요 결과

• 가우시안 입력과 작은 초기화가 주어지면 SGD가 다항 단계 내에 ground truth W∗로 수렴한다.
• 수렴은 두 단계로 진행된다: Phase I이 포텐셜 g를 감소시키고 유리한 영역으로 이동; Phase II가 한 점 볼록성을 달성하고 W∗로 수렴한다.
• 아이덴티티 매핑은 초기점을 쉬운 최적화 영역으로 이동시키는 데 필요하며 분석된 영역에서 고유한 전역 최솟값을 산출한다.
• 제로 초기화가 아이덴티티 매핑이 있을 때 무작위 초기화와 같은 성능을 낼 수 있어 매핑에 의해 유도된 비대칭성을 보여준다.
• 실험은 아이덴티티 매핑 네트워크가 바닐라 네트워크보다 더 우수하고, 건너뛰기 연결이 있는 ResNet 유사 구조가 CIFAR-10에서 학습 및 테스트 성능을 향상시킨다는 것을 보여준다.
• 프레임워크와 결과는 회전 불변성 또는 근가우시안 입력 분포와 W∗의 합리적인 스펙트럴 노름 하에서 질적으로 유효하게 남는다.