[논문 리뷰] An Analytical Formula of Population Gradient for two-layered ReLU network and its Applications in Convergence and Critical Point Analysis

Yuandong Tian|arXiv (Cornell University)|2017. 03. 02.

Complex Network Analysis Techniques참고 문헌 16인용 수 78

한 줄 요약

본 논문은 Gaussian 입력 하에서 이층 ReLU 네트워크에 대한 폐쇄형 모집단 그래디언트를 도출하고 이를 이용해 임계점과 수렴성을 분석하며, 자발적 대칭성 붕괴를 포함한다. 또한 그래디언트 디센트가 교사 가중치로 수렴하는 조건을 제시하고, 평면 밖 임계점들을 비고립적 매니폴드로 특징짓는다.

ABSTRACT

In this paper, we explore theoretical properties of training a two-layered ReLU network $g(\mathbf{x}; \mathbf{w}) = \sum_{j=1}^K σ(\mathbf{w}_j^T\mathbf{x})$ with centered $d$-dimensional spherical Gaussian input $\mathbf{x}$ ($σ$=ReLU). We train our network with gradient descent on $\mathbf{w}$ to mimic the output of a teacher network with the same architecture and fixed parameters $\mathbf{w}^*$. We show that its population gradient has an analytical formula, leading to interesting theoretical analysis of critical points and convergence behaviors. First, we prove that critical points outside the hyperplane spanned by the teacher parameters ("out-of-plane") are not isolated and form manifolds, and characterize in-plane critical-point-free regions for two ReLU case. On the other hand, convergence to $\mathbf{w}^*$ for one ReLU node is guaranteed with at least $(1-ε)/2$ probability, if weights are initialized randomly with standard deviation upper-bounded by $O(ε/\sqrt{d})$, consistent with empirical practice. For network with many ReLU nodes, we prove that an infinitesimal perturbation of weight initialization results in convergence towards $\mathbf{w}^*$ (or its permutation), a phenomenon known as spontaneous symmetric-breaking (SSB) in physics. We assume no independence of ReLU activations. Simulation verifies our findings.

연구 동기 및 목표

• 가우시안 입력으로 이층 ReLU 네트워크의 모집단 그래디언트에 대한 폐쇄형 분석식을 개발한다.
• 평면 내부와 외부의 경우를 구분하여 임계점을 특성화하고 임계점이 고립될 수 있는 영역을 식별한다.
• Lyapunov 방법을 사용하여 단일 및 다중 ReLU 노드에서 교사 네트워크로의 그래디언트 디센트 수렴을 분석한다.
• 자발적 대칭성 붕괴와 초기화 및 수렴에 미치는 시사점을 입증한다.
• 이론 결과의 시뮬레이션 검증을 제공한다.

제안 방법

• 두 층으로 구성된 ReLU 모델 g(x; w) = sum_j ReLU(w_j^T x)와 교사 가중치 w* 및 중심화된 구면 가우시안 입력 x를 정의한다.
• 가우시안 입력에 대한 L2 손실의 모집단 그래디언트 E[∇J(w)]를 도출하고 Population Gating(PG) 함수 F(e, w)를 도입한다.
• 정식 표현 E[F(e, w)] = (N/2π)[(π−θ)w + ||w|| sin θ e]를 얻는데, 여기서 θ는 e와 w 사이의 각도이다.
• E[∇J] = E[F(w/||w||, w)] − E[F(w/||w||, w*)]를 보여주고 학습 역학에 대한 함의를 분석한다.
• K-ReLU 설정에서 임계점에 대한 정상방정식 YE^T = B* W*^T를 개발하고, 평면 내부 대 외부의 경우를 연구한다.
• 단일 ReLU에 대해 Lyapunov/LaSalle 방법을 적용하여 수렴 결과를 확립하고 다-ReLU 설정에서의 대칭성 파손을 논의한다.
• 프레임워크를 다층 ReLU 네트워크로 개념적으로 확장하기 위한 그래디언트 구조에 대한 명제로(Eq. 19) 제시한다.

실험 결과

연구 질문

• RQ1 가우시안 입력을 갖는 이층 ReLU 네트워크의 모집단 그래디언트의 명시적 형태는 무엇인가?
• RQ2 임계점은 평면 내부 대 외부 어디에 위치하며 고립될 수 있는가?
• RQ3 단일 및 다중 ReLU 노드에 대해 그래디언트 디센트가 교사 가중치로 수렴하는 초기화 조건은 무엇인가?
• RQ4 다층 ReLU 네트워크에서 대칭성 파손은 어떻게 나타나며 수렴에 어떤 시사점을 주는가?
• RQ5 더 복잡한(다층) 아키텍처로의 해석적 프레임워크 확장이 가능한가?

주요 결과

• 모집단 그래디언트는 선형 유사 항과 w와 w* 사이의 각도에 의존하는 비선형 항으로 폐쇄형 분해를 가지며, 이를 통해 임계점 분석이 정밀해진다.
• 외부 평면의 임계점은 d ≥ K+2인 경우 회전 대칭으로 인해 비고립적 매니폴드를 형성한다.
• 단일 ReLU 노드의 경우, 분산이 충분히 작게 무작위 초기화에서 교사 가중치로 수렴하는 경향이 있다(표준 초기화 관행과 일치).
• 다-ReLU의 경우 정규 직교 교사 가중치를 가지는 경우 대칭 초기화는 비등가점이며, 아주 미세한 붕괴가 수렴으로 이어지거나 교사 가중치의 순열로 수렴하게 하는 자발적 대칭성 파손이 발생한다.
• 시뮬레이션은 분석식의 타당성을 검증하고 수렴 궤적, 가짜 안장점, 초기화가 수렴 행태에 미치는 영향을 보여준다.