[논문 리뷰] On the Convergence Rate of Training Recurrent Neural Networks

Zeyuan Allen-Zhu, Yuanzhi Li외 1명|arXiv (Cornell University)|2018. 10. 29.

Advanced Neural Network Applications참고 문헌 66인용 수 47

한 줄 요약

이 논문은 과초과파라미터화 하에서 gradient descent와 stochastic gradient descent가 ReLU를 가진 Elman RNN을 거의 0에 가까운 학습 오차로 학습시킬 수 있음을 보이고, 다층 네트워크를 분석하는 새로운 도구들을 제공합니다.

ABSTRACT

How can local-search methods such as stochastic gradient descent (SGD) avoid bad local minima in training multi-layer neural networks? Why can they fit random labels even given non-convex and non-smooth architectures? Most existing theory only covers networks with one hidden layer, so can we go deeper? In this paper, we focus on recurrent neural networks (RNNs) which are multi-layer networks widely used in natural language processing. They are harder to analyze than feedforward neural networks, because the $ extit{same}$ recurrent unit is repeatedly applied across the entire time horizon of length $L$, which is analogous to feedforward networks of depth $L$. We show when the number of neurons is sufficiently large, meaning polynomial in the training data size and in $L$, then SGD is capable of minimizing the regression loss in the linear convergence rate. This gives theoretical evidence of how RNNs can memorize data. More importantly, in this paper we build general toolkits to analyze multi-layer networks with ReLU activations. For instance, we prove why ReLU activations can prevent exponential gradient explosion or vanishing, and build a perturbation theory to analyze first-order approximation of multi-layer networks.

연구 동기 및 목표

• 왜 ReLU가 RNN의 학습을 안정시켜 소실/발산 경사 문제를 피하게 하는지 이해한다.
• RNN이 비비정상(non-degenerate) 데이터에서 거의 0에 가까운 학습 오차까지 효율적으로 학습될 수 있음을 보인다.
• ReLU 활성화 함수를 가진 다층 네트워크를 분석하기 위한 일반 도구 키트를 개발한다.
• 완만한 가정 아래 깊은 RNN 및 관련 손실 함수에 대한 확장을 보여준다.
• 과초과파라미터화가 SGD가 다층 구조에서 나쁜 지역 최소값을 피하는 데 어떻게 기여하는지 명확히 한다.

제안 방법

• 고전적인 Elman RNN을 ReLU 활성화로 분석하고, 숨겨진 가중치 W를 학습하는 동안 A,B는 무작위로 초기화한다.
• 랜덤 가우시안 초기화에서 시작하여 GD/SGD가 f(W) ≤ ε 를 달성하는 데 필요한 반복 횟수 T = poly(n,d,L,δ^{-1}, log(1/ε))를 보인다.
• 일차 성질을 특징짓기 위해 Polyak-Łojasiewicz 유형의 그래디언트 하한(정리 3)과 준-매끄성 속성(정리 4)을 도입한다.
• 과초과파라미터화와 유도된 임의성을 활용하여 L층 전방/역전파 분석을 개발하고 그래디언트 증가를 제어하며 기하급수적 폭주를 피한다.
• 적대적 섭동 하에서의 강건성 결과를 제공하고 깊은 RNN 및 다른 Lipschitz-스무스 손실 함수로의 확장을 논의한다.

실험 결과

연구 질문

• RQ1 ReLU 활성화가 긴 시계열에서 소실/발산 경사를 피하도록 반복 신경망의 학습을 안정시킬 수 있는가?
• RQ2 약한 가정 하에서 경사 기반 방법을 사용해 다층 RNN을 거의 0에 가까운 학습 오차로 효율적으로 학습시킬 수 있는가?
• RQ3 과초과파라미터화가 다층 RNN의 수렴 및 나쁜 지역 최소값 회피에 어떤 영향을 미치는가?
• RQ4 결과를 깊은 RNN 및 다른 Lipschitz-스무스 손실 함수로 확장할 수 있는가?

주요 결과

• GD와 SGD 모두 과초과파라미터화 하에서 T = poly(n,d,L,δ^{-1}) · log(1/ε) 의 반복 횟수로 ε-학습 오차에 수렴한다.
• 수렴 속도는 비볼록성 및 다층 구조에도 불구하고 로그(1/ε)에 대해 실질적으로 선형이다.
• 수렴을 뒷받침하는 두 가지 기술적 결과(그래디언트 하한 및 준-매끄성)가 잘못된 지역 최소값에 반대하는 근거를 제공한다.
• ReLU 활성화는 L층에 걸친 기하급수적 그래디언트 폭주나 소실을 방지하는 데 도움을 준다.
• A,B가 무작위로 초기화되고 숨겨진 가중치 W만 학습되더라도 데이터의 계층 간 선형 분리성이 네트워크를 통해 보존된다는 점에서 결과가 성립한다.