[논문 리뷰] Lipschitz Recurrent Neural Networks

N. Benjamin Erichson, Omri Azencot외 3명|arXiv (Cornell University)|2020. 06. 22.

Anomaly Detection Techniques and Applications참고 문헌 51인용 수 32

한 줄 요약

이 논문은 Lipschitz 연속-시간 RNN을 도입하고 Lipschitz 비선형성 및 대칭–비대칭 숨겨진-숨겨진 행렬 분해를 통해 전역 지수 안정성을 입증하며 MNIST, TIMIT에서 강력한 성능과 강건성 분석을 보여준다.

ABSTRACT

Viewing recurrent neural networks (RNNs) as continuous-time dynamical systems, we propose a recurrent unit that describes the hidden state's evolution with two parts: a well-understood linear component plus a Lipschitz nonlinearity. This particular functional form facilitates stability analysis of the long-term behavior of the recurrent unit using tools from nonlinear systems theory. In turn, this enables architectural design decisions before experimentation. Sufficient conditions for global stability of the recurrent unit are obtained, motivating a novel scheme for constructing hidden-to-hidden matrices. Our experiments demonstrate that the Lipschitz RNN can outperform existing recurrent units on a range of benchmark tasks, including computer vision, language modeling and speech prediction tasks. Finally, through Hessian-based analysis we demonstrate that our Lipschitz recurrent unit is more robust with respect to input and parameter perturbations as compared to other continuous-time RNNs.

연구 동기 및 목표

• 숨겨진 상태 역학을 선형+Lipschitz 비선형 형태의 연속 시간 시스템으로 모델링하여 RNN의 안정성을 동기화한다.
• 전역 지수 안정성에 대한 충분 조건을 도출하고 숨겨진-숨겨진 행렬을 구성하기 위한 대칭–비대칭 분해를 제안한다.
• 시각(픽셀 MNIST), 언어 모델링, 음성 작업에서 실험적 성능 향상을 증명한다.
• 해석적·perturbation 실험을 통해 Hessian 기반 분석에서의 강건성 이점을 다른 연속-시간 RNN과 비교한다.

제안 방법

• 연속 시간 RNN 제안: dot{h} = A h + tanh(W h + U x + b) with A and W formed as A_{β_A,γ_A} and W_{β_W,γ_W} using a symmetric–skew decomposition parameterization.
• Lyapunov 방법과 원(Kalman–Yakubovitch–Popov) 기준에 따른 조건에서 A^{sym} 및 W의 조건과 비선형성 특성 하에 전역 지수 안정성을 확립한다.
• S_{β,γ} = (1−β)(M+M^T) + β(M−M^T) − γ I 로 표현되는 대칭–비대칭 분해를 도입하여 고유값을 한정하고 스펙트럼 반경을 제어한다.
• 훈련을 위한 명시적 Euler 또는 RK2 적분기로 연속 모델을 이산화하여 단계가 안정성 영역 내에 머물도록 한다.
• MNIST 픽셀별(정렬된 경우와 순열된 경우), TIMIT 음성 예측 및 Hessian 지표와 섭동을 이용한 강건성 테스트를 평가한다.

실험 결과

연구 질문

• RQ1 다항-선형 구조를 갖춘 Lipschitz-연속 RNN이 모든 상태에 대해 글로벌 지수 안정성을 달성할 수 있는가?
• RQ2 숨겨진 행렬의 대칭–비대칭 분해가 표현력과 안정성을 어떻게 균형화하여 그래디언트 소실/폭주 문제를 완화하는가?
• RQ3 Lipschitz RNN이 시각, 언어, 음성의 장기 의존성 작업에서 최첨단 순환 유닛을 능가하면서 입력 및 매개변수 섭동에 대한 강건성을 유지하는가?
• RQ4 더 높은 차수의 시간 적분(RK2)이 안정성 프레임워크 내에서 순방향 Euler보다 예측 정확도를 향상시키는가?
• RQ5 Hessian 기반 분석으로 입증된 Lipschitz RNN의 입력 및 매개변수 섭동에 대한 더 큰 강건성을 보이는가?

주요 결과

Name	정렬된	순열된	N	매개변수 수(# params)
LSTM baseline by (Arjovsky et al., 2016)	97.3%	92.7%	128	≈ 68K
MomentumLSTM (Nguyen et al., 2020)	99.1%	94.7%	256	≈ 270K
Unitary RNN (Arjovsky et al., 2016)	95.1%	91.4%	512	≈ 9K
Full Capacity Unitary RNN (Wisdom et al., 2016)	96.9%	94.1%	512	≈ 270K
Soft orth. RNN (Vorontsov et al., 2017)	94.1%	91.4%	128	≈ 18K
Kronecker RNN (Jose et al., 2018)	96.4%	94.5%	512	≈ 11K
Antisymmetric RNN (Chang et al., 2019)	98.0%	95.8%	128	≈ 10K
Incremental RNN (Kag et al., 2020)	98.1%	95.6%	128	≈ 4K/8K
Exponential RNN (Lezcano-Casado & Martinez-Rubio, 2019)	98.4%	96.2%	360	≈ 69K
Sequential NAIS-Net (Ciccone et al., 2018)	94.3%	90.8%	128	≈ 18K
Lipschitz RNN using Euler (ours)	99.0%	94.2%	64	≈ 9K
Lipschitz RNN using RK2 (ours)	99.1%	94.2%	64	≈ 9K
Lipschitz RNN using Euler (ours)	99.4%	96.3%	128	≈ 34K
Lipschitz RNN using RK2 (ours)	99.3%	96.2%	128	≈ 34K

• Lipschitz RNN은 A^{sym} 및 W의 가벼운 스펙트럼 조건과 비선형성 특성 하에서 전역 지수 안정성을 달성한다.
• 대칭–비대칭 분해는 안정성 기준을 충족하면서 표현력이 풍부한 숨겨진-숨겨진 행렬을 가능하게 하여 그래디언트 문제를 완화한다.
• 정렬된/순열된 MNIST에서 Lipschitz RNN with Euler RK2는 정확도 면에서 경쟁적에서 우수한 편으로, 비슷한 매개변수 수에 대해 여러 베이스라인보다 우수하다.
• TIMIT에서 Lipschitz RNN with Euler/RK2는 약 200K 매개변수로 최첨단 또는 강력한 성능을 달성한다.
• RK2 적분은 Euler보다 여러 작업에서 더 높은 정확도를 제공하여 안정성 프레임워크 내에서 더 정확한 수치 적분의 이점을 시사한다.
• Hessian 기반 분석은 Lipschitz RNN에 대해 최대 고유값이 작고 트레이스가 낮으며 조건수도 더 좋음을 보여주어 섭동에 대한 강건성과 더 평탄한 최소값을 시사한다.