[논문 리뷰] A global convergence theory for deep ReLU implicit networks via over-parameterization

Tianxiang Gao, Hailiang Liu외 3명|arXiv (Cornell University)|2021. 10. 11.

Stochastic Gradient Optimization Techniques참고 문헌 36인용 수 5

한 줄 요약

이 논문은 오버파ram터화를 이용해 딥 ReLU 은닉 신경망에 대한 글로벌 수렴 이론을 수립한다. 네트워크의 너비가 학습 샘플 수에 대해 다항식일 경우, 무한히 많은 층을 지닌 네트워크이지만 평형 방정식을 암시적으로 푸는 조건에서, 무작위로 초기화된 경사하강법이 제곱 손실에 대해 선형 수렴 속도로 전역 최소값으로 수렴함을 증명한다.

ABSTRACT

Implicit deep learning has received increasing attention recently due to the fact that it generalizes the recursive prediction rules of many commonly used neural network architectures. Its prediction rule is provided implicitly based on the solution of an equilibrium equation. Although a line of recent empirical studies has demonstrated its superior performances, the theoretical understanding of implicit neural networks is limited. In general, the equilibrium equation may not be well-posed during the training. As a result, there is no guarantee that a vanilla (stochastic) gradient descent (SGD) training nonlinear implicit neural networks can converge. This paper fills the gap by analyzing the gradient flow of Rectified Linear Unit (ReLU) activated implicit neural networks. For an $m$-width implicit neural network with ReLU activation and $n$ training samples, we show that a randomly initialized gradient descent converges to a global minimum at a linear rate for the square loss function if the implicit neural network is extit{over-parameterized}. It is worth noting that, unlike existing works on the convergence of (S)GD on finite-layer over-parameterized neural networks, our convergence results hold for implicit neural networks, where the number of layers is extit{infinite}.

연구 동기 및 목표

• ReLU와 같은 비선형 활성화 함수를 사용하는 은닉 신경망 학습에 대한 이론적 이해 부족을 해결한다.
• 무한 깊이 네트워크에서 해가 존재하지 않거나 다수 존재할 수 있는 애매하게 정의된 평형 방정식의 과제를 극복한다.
• 비연속, 비볼록 최적화 곡면에도 불구하고 ReLU 활성화를 갖는 은닉 네트워크에서 경사하강법의 글로벌 수렴을 확립한다.
• 유한 깊이 네트워크를 초월해 무한히 많은 층을 지닌 은닉 네트워크에 대해 수렴 보장을 제공한다.

제안 방법

• 평형 방정식을 통해 은닉 네트워크를 수식화한다: $\mathbf{z}^\ell = \sigma\left(\frac{\gamma}{\sqrt{m}}\mathbf{A}\mathbf{z}^{\ell-1} + \phi(\mathbf{x})\right)$, 여기서 $\sigma$ 는 ReLU이며 $\gamma \in (0,1)$ 이므로 $\mathbf{z}^* = \lim_{\ell \to \infty} \mathbf{z}^\ell$ 의 수렴이 보장된다.
• 예측을 $\hat{\mathbf{y}} = \mathbf{Z}\mathbf{u} + \mathbf{\Phi}\mathbf{v}$ 로 모델링하며, $\mathbf{Z}, \mathbf{\Phi}$ 는 은닉 네트워크 출력을, $\mathbf{u}, \mathbf{v}$ 는 출력 가중치를 나타낸다.
• 리아푸노프 유사 함수를 사용해 경사 흐름을 분석하고, 각 단계에서 예측 오차 $\|\hat{\mathbf{y}}(k) - \mathbf{y}\|^2$ 의 감소를 한계화한다.
• 학습 샘플 수 $n$ 에 대해 $m = \text{poly}(n, h)$ 의 너비를 오버파라미터화하여, 학습 전반에 걸쳐 유일한 평형점이 존재하도록 보장한다.
• 카우치-슈바르츠 부등식과 행렬 노름 부등식을 사용해 $\|\hat{\mathbf{y}}(k+1) - \hat{\mathbf{y}}(k)\|$ 와 내적 $\langle \hat{\mathbf{y}}(k+1) - \hat{\mathbf{y}}(k), \hat{\mathbf{y}}(k) - \mathbf{y} \rangle$ 에 대한 경계를 설정한다.
• 특히 $\alpha = \mathcal{O}(\lambda_0 / n^2)$ 라면 $\|\hat{\mathbf{y}}(k+1) - \mathbf{y}\|^2 \leq \left(1 - \frac{\alpha \lambda_0}{2}\right)^{k+1} \|\hat{\mathbf{y}}(0) - \mathbf{y}\|^2$ 를 보여, 선형 수렴을 증명한다.

실험 결과

연구 질문

• RQ1 무한히 많은 층을 지닌 ReLU 활성화를 갖는 은닉 신경망에서 경사하강법이 글로벌하게 수렴할 수 있는가?
• RQ2 오버파라미터화가 은닉 네트워크에서 학습 중에 잘 정의된 문제와 유일한 평형 해를 보장하는가?
• RQ3 비연속, 비볼록 특성을 지닌 손실 함수에서도 경사하강법의 수렴 속도가 선형일 수 있는가?
• RQ4 네트워크의 너비 $m$ 이 무한 깊이 영역에서 경사하강법의 수렴에 어떤 영향을 미치는가?
• RQ5 초기화 조건과 학습률에 어떤 조건이 있어야 은닉 ReLU 네트워크에서 글로벌 수렴이 보장되는가?

주요 결과

• 무작위로 초기화된 경사하강법은 ReLU 활성화를 갖는 은닉 신경망에서 제곱 손실에 대해 선형 수렴 속도로 전역 최소값으로 수렴한다.
• 수렴 속도는 $\|\hat{\mathbf{y}}(k+1) - \mathbf{y}\|^2 \leq \left(1 - \frac{\alpha \lambda_0}{2}\right)^{k+1} \|\hat{\mathbf{y}}(0) - \mathbf{y}\|^2$ 로 표현되며, 이는 $k$ 에 대해 선형 수렴임을 나타낸다.
• 오버파라미터화를 통해 $m = \text{poly}(n)$ 이면 학습 전반에 걸쳐 유일한 평형점이 존재함을 보장하여, 문제의 잘 정의됨 문제를 해결한다.
• 네트워크가 무한히 많은 층을 지닌다는 점에도 불구하고 이 결과는 유한 깊이 네트워크를 초월해 오버파라미터화 이론을 확장한다.
• 분석을 통해 그라디언트 흐름이 그라디언트 행렬의 최소 고유값 $\lambda_0$ 에 대한 약한 가정 하에 안정적이고 수렴 가능하다는 것을 입증한다.
• 고정된 스텝 사이즈 $\alpha = \mathcal{O}(\lambda_0 / n^2)$ 를 갖는 표준(스티ochastic) 경사하강법에 대해 수렴 보장이 성립하며, 프로젝션 또는 하위 문제 해결이 필요하지 않다.