[논문 리뷰] Stochastic Gradient Descent Learns State Equations with Nonlinear Activations

Samet Oymak|arXiv (Cornell University)|2018. 09. 09.

Machine Learning and ELM인용 수 24

한 줄 요약

이 논문은 비선형 상태 방정식 $\bm{h}_{t+1} = \phi(\bm{A}\bm{h}_t + \bm{B}\bm{u}_t)$로 제어되는 순환 신경망(RNN)에서, 활성화 함수에 대해 약한 조건(예: 리 leaking ReLU)을 만족할 경우, 확률적 경사 하강법(SGD)이 진짜 가중치 행렬로 선형 수렴함을 입증한다. 이때 표본 복잡도는 $\mathcal{O}(n + p)$로 거의 최적이며, 여기서 $n$과 $p$는 상태 및 입력 차원을 의미한다. 분석은 비선형 활성화를 고려한 새로운 SGD 수렴 보장과 상태 벡터의 공분산 구조의 통계적 특성에 기반한다.

ABSTRACT

We study discrete time dynamical systems governed by the state equation $h_{t+1}=\\phi(Ah_t+Bu_t)$. Here $A,B$ are weight matrices, $\\phi$ is an activation function, and $u_t$ is the input data. This relation is the backbone of recurrent neural networks (e.g. LSTMs) which have broad applications in sequential learning tasks. We utilize stochastic gradient descent to learn the weight matrices from a finite input/state trajectory $(u_t,h_t)_{t=0}^N$. We prove that SGD estimate linearly converges to the ground truth weights while using near-optimal sample size. Our results apply to increasing activations whose derivatives are bounded away from zero. The analysis is based on i) a novel SGD convergence result with nonlinear activations and ii) careful statistical characterization of the state vector. Numerical experiments verify the fast convergence of SGD on ReLU and leaky ReLU in consistence with our theory.

연구 동기 및 목표

• 비선형 활성화를 갖는 순환 신경망(RNN)에서 SGD의 수렴을 이론적으로 이해하는 것.
• RNN의 상태 전이 및 입력 가중치 행렬 학습에서 SGD의 빠른(선형) 수렴 보장을 확립하는 것.
• 비선형 활성화로 제어되는 동적 시스템에서 상태 벡터의 통계적 성질을 특성화하는 것.
• 학습에 필요한 궤적 길이가 near-optimal임을 보여주며, 안정 시스템에서는 $\mathcal{O}(n + p)$로 척도가 결정됨.
• 다중 독립 궤적을 통해 불안정 시스템으로 결과를 확장하는 것.

제안 방법

• 비선형 활성화 $\phi$를 갖는 RNN 상태 방정식을 $\bm{h}_{t+1} = \phi(\bm{A}\bm{h}_t + \bm{B}\bm{u}_t)$로 설정한다.
• 유한한 입력/상태 궤적 $\{\bm{u}_t, \bm{h}_t\}_{t=0}^N$으로부터 $\bm{A}$와 $\bm{B}$를 SGD를 사용해 학습한다.
• 비선형 활성화 하에서 새로운 SGD 수렴 결과를 확립하여 고전적인 선형 수렴 이론을 확장한다.
• 상태 벡터 $\bm{h}_t$의 통계적 성질을 분석하여, 약한 가정 하에 그 공분산이 잘 조절되어 있음을 보여준다.
• 시스템이 안정적이고 $\phi$가 증가 함수이며 도함수가 0에서 멀리 떨어져 있을 경우, 표본 크기 $N = \mathcal{O}(n + p)$가 선형 수렴을 확보하는 데 충분함을 증명한다.
• 다중 독립 궤적을 통해 데이터를 수집함으로써 결과를 불안정 시스템으로 확장한다.

실험 결과

연구 질문

• RQ1 비선형 활성화를 갖는 RNN에서 SGD가 진짜 가중치 행렬로 선형 수렴하는가?
• RQ2 RNN 상태 방정식 학습에서 SGD가 선형 수렴을 달성하기 위해 필요한 최소 표본 크기는 얼마인가?
• RQ3 상태 벡터 $\bm{h}_t$의 통계적 성질이 비선형 RNN에서 SGD 수렴에 어떻게 영향을 주는가?
• RQ4 이론을 불안정 시스템으로 확장할 수 있으며, 만약 가능하면 데이터 수집 가정은 무엇인가?
• RQ5 리 leaking ReLU와 같은 활성화 함수는 이 설정에서 SGD 수렴 속도에 어떻게 영향을 주는가?

주요 결과

• 비선형 활성화가 증가하고 도함수가 0에서 멀리 떨어져 있을 경우, SGD는 RNN의 진짜 가중치 행렬 $\bm{A}$와 $\bm{B}$로 선형 수렴한다.
• 선형 수렴을 위한 필요 표본 크기는 $\mathcal{O}(n + p)$이며, 이는 거의 최적이다. 여기서 $n$과 $p$는 상태 및 입력 벡터의 차원을 의미한다.
• 시스템의 스펙트럼 노름이 1보다 작을 경우 안정 시스템에서는 길이 $\mathcal{O}(n + p)$의 단일 궤적만으로도 이론이 성립한다.
• 분석을 통해 상태 벡터의 공분산이 잘 조절되어 있음을 입증하였으며, 이는 SGD 수렴에 있어 핵심적이다.
• 불안정 시스템의 경우, 다중 독립 궤적에서 데이터를 수집함으로써 선형 수렴이 달성된다.
• 수치 실험을 통해 활성화 함수의 기울기가 커질수록 SGD 수렴 속도가 빨라지는 것으로 확인되었으며, 이는 이론적 예측과 일치한다.