[논문 리뷰] Gating creates slow modes and controls phase-space complexity in GRUs and LSTMs

Tankut Can, Kamesh Krishnamurthy외 1명|arXiv (Cornell University)|2020. 01. 31.

Neural Networks and Reservoir Computing참고 문헌 37인용 수 8

한 줄 요약

이 논문은 랜덤 행렬 이론과 평균장 이론을 사용하여 GRU와 LSTM의 게이팅 메커니즘이 순환 신경망의 역학적 특성에 어떻게 영향을 미치는지 분석한다. GRU의 업데이트 게이팅은 고유값이 1에 가까운 곳에 느린 모드를 생성하여 장기 기억을 가능하게 하며, 리셋 게이팅은 스펙트럼 반경과 위상공간 복잡도를 조절한다. LSTM의 플래시 게이팅 역시 유사하게 느린 모드를 유도하며, 모든 게이팅 메커니즘이 학습 안정성과 성능에 핵심적인 스펙트럼 특성에 영향을 미친다.

ABSTRACT

Recurrent neural networks (RNNs) are powerful dynamical models for data with complex temporal structure. However, training RNNs has traditionally proved challenging due to exploding or vanishing of gradients. RNN models such as LSTMs and GRUs (and their variants) significantly mitigate these issues associated with training by introducing various types of gating units into the architecture. While these gates empirically improve performance, how the addition of gates influences the dynamics and trainability of GRUs and LSTMs is not well understood. Here, we take the perspective of studying randomly initialized LSTMs and GRUs as dynamical systems, and ask how the salient dynamical properties are shaped by the gates. We leverage tools from random matrix theory and mean-field theory to study the state-to-state Jacobians of GRUs and LSTMs. We show that the update gate in the GRU and the forget gate in the LSTM can lead to an accumulation of slow modes in the dynamics. Moreover, the GRU update gate can poise the system at a marginally stable point. The reset gate in the GRU and the output and input gates in the LSTM control the spectral radius of the Jacobian, and the GRU reset gate also modulates the complexity of the landscape of fixed-points. Furthermore, for the GRU we obtain a phase diagram describing the statistical properties of fixed-points. We also provide a preliminary comparison of training performance to the various dynamical regimes realized by varying hyperparameters. Looking to the future, we have introduced a powerful set of techniques which can be adapted to a broad class of RNNs, to study the influence of various architectural choices on dynamics, and potentially motivate the principled discovery of novel architectures.

연구 동기 및 목표

• 랜덤으로 초기화된 RNN에서 아키텍처적 게이팅 메커니즘이 동적 특성에 어떻게 영향을 미치는지 이해하는 것.
• RNN에서 게이팅이 학습과 성능을 향상시키는 이유에 대한 이론적 이해 부족을 해결하는 것.
• 통계역학 도구를 사용하여 GRU와 LSTM의 상태 간 자코비안의 스펙트럼 특성을 특성화하는 것.
• 게이팅 가중치와 같은 초모수들이 역학적 제도와 고정점 복잡도에 어떻게 영향을 미치는지 매핑하는 것.
• 게이팅 설계와 역학적 행동 간의 연결 고리를 통해 더 나은 RNN 아키텍처 설계를 위한 이론적 기반을 제공하는 것.

제안 방법

• 초기화 시 상태 간 자코비안의 스펙트럼을 분석하기 위해 랜덤 행렬 이론(RMT)을 적용한다.
• 랜덤 가중치 초기화 하에서 자코비안 고유값의 통계적 성질을 계산하기 위해 평균장 이론(MFT)을 사용한다.
• 특히 1에 가까운 곳에서의 스펙트럼 반경과 고유값 밀도를 분석하여 느린 모드를 식별하기 위한 해석적 표현을 유도한다.
• 순환 연결으로 인해 항목 간 상관관계가 있는 랜덤 행렬로 자코비안을 모델링하여 피드포워드 네트워크와 구별한다.
• 업데이트 게이팅과 리셋 게이팅 가중치($a_z$, $a_r$)를 변화시켜 GRU의 위상도를 구성하고, 역학적 제도 간 전이를 식별한다.
• 이론적 예측을 검증하기 위해 다양한 역학적 제도에서 순차적 MNIST의 학습 성능을 비교한다.

실험 결과

연구 질문

• RQ1 GRU의 업데이트 게이팅과 리셋 게이팅은 상태 간 자코비안의 스펙트럼에 어떻게 영향을 미치는가?
• RQ2 LSTM의 플래시 게이팅은 역학에서 느린 모드를 생성하는 데 어떤 역할을 하는가?
• RQ3 GRU와 LSTM의 다양한 게이팅 메커니즘은 스펙트럼 반경과 위상공간 복잡도를 어떻게 조절하는가?
• RQ4 초모수 선택과 역학적 행동 간의 관계를 매핑하는 GRU의 위상도를 유도할 수 있는가?
• RQ5 이론적 역학적 제도는 순차적 작업에서 실제 학습 성능과 어떻게 상관관계가 있는가?

주요 결과

• GRU 업데이트 게이팅은 자코비안 고유값을 1 근처에 응집시켜 느린 모드를 생성하고, 장기 기억과 경계적 안정성을 가능하게 한다.
• GRU 리셋 게이팅은 스펙트럼 반경을 조절하고 위상공간 내 고정점의 위상적 복잡도를 조절한다.
• LSTM 플래시 게이팅은 주로 1 근처에 고유값이 축적되는 데 기여하여 지속적인 기억을 가능하게 한다.
• GRU와 LSTM의 모든 게이팅 메커니즘은 스펙트럼 반경에 영향을 미치지만, 영향의 크기와 기능적 역할은 다름.
• GRU의 경우, 입력 게이팅에 대해 스펙트럼 반경이 $\rho({\bf J}_t) = \Theta(\sqrt{a_i})$로 스케일링되고, 출력 게이팅에 대해 $\rho({\bf J}_t) = \Theta(\sqrt{a_o})$로 스케일링된다.
• 순차적 MNIST에서의 실험적 학습 결과는 최적의 학습 속도와 정확도가 $a_h = 2.0$ 근처에서 발생함을 보여주며, 이는 영점 고정점이 불안정해지는 전이점에 해당함—즉, 혼돈의 가장자리 근처의 전이를 시사한다.