[논문 리뷰] Dynamical Isometry and a Mean Field Theory of RNNs: Gating Enables Signal Propagation in Recurrent Neural Networks

Minmin Chen, Jeffrey Pennington외 1명|arXiv (Cornell University)|2018. 06. 14.

Neural Networks and Applications인용 수 15

한 줄 요약

이 논문은 평균장 이론과 랜덤 행렬 이론 프레임워크를 개발하여 순환 신경망(RNN) 내 신호 전파를 분석하며, 간소화된 게이팅 RNN 셀인 minimalRNN을 도입한다. 게이팅이 기존의 순수 RNN보다 훨씬 넓고 안정된 학습 가능한 초기화 영역을 가능하게 함을 보이며, 역동적 등장성(dynamical isometry)을 달성하는 폐쇄형 임계 초기화를 유도한다. 이는 훈련 속도와 성능을 크게 향상시키며, minimalRNN는 언어 모델링 작업에서 GRU 및 LSTM과 같은 최신 기술 수준의 모델과 유사한 성능을 기록한다.

ABSTRACT

Recurrent neural networks have gained widespread use in modeling sequence data across various domains. While many successful recurrent architectures employ a notion of gating, the exact mechanism that enables such remarkable performance is not well understood. We develop a theory for signal propagation in recurrent networks after random initialization using a combination of mean field theory and random matrix theory. To simplify our discussion, we introduce a new RNN cell with a simple gating mechanism that we call the minimalRNN and compare it with vanilla RNNs. Our theory allows us to define a maximum timescale over which RNNs can remember an input. We show that this theory predicts trainability for both recurrent architectures. We show that gated recurrent networks feature a much broader, more robust, trainable region than vanilla RNNs, which corroborates recent experimental findings. Finally, we develop a closed-form critical initialization scheme that achieves dynamical isometry in both vanilla RNNs and minimalRNNs. We show that this results in significantly improvement in training dynamics. Finally, we demonstrate that the minimalRNN achieves comparable performance to its more complex counterparts, such as LSTMs or GRUs, on a language modeling task.

연구 동기 및 목표

• 비교적 유사한 표현 능력을 지닌 LSTMs 및 GRUs가 실질적으로 순수 RNN보다 우수한 이유를 이해하기 위해.
• 순환 네트워크 내에서 신호 전파와 기울기 흐름을 분석함으로써 게이팅의 역할이 학습 가능성에 어떻게 기여하는지 규명하기 위해.
• 최대 시간스케일 동안 정보가 전파될 수 있는지 예측하기 위한 평균장 이론과 랜덤 행렬 이론 기반의 이론적 프레임워크를 개발하기 위해.
• 역동적 등장성을 달성하는 폐쇄형 임계 초기화 방법을 유도하여 순수 RNN 및 게이팅 RNN의 훈련 역학을 향상시키기 위해.
• 간단한 게이팅 RNN(minimalRNN)이 언어 모델링 작업에서 LSTMs 및 GRUs와 같은 복잡한 모델과 유사한 성능을 달성할 수 있는지 검증하기 위해.

제안 방법

• 순수 RNN 및 minimalRNN의 전방 신호 전파에 대한 평균장 이론을 개발하여, 정보가 유지될 수 있는 최대 시간스케일을 유도한다.
• 랜덤 행렬 이론을 적용하여 minimalRNN의 종단 간 자코비안을 분석함으로써, 전방 신호 전파와 후방 기울기 흐름 사이의 이중성(duality)을 확립한다.
• 가중치 및 게이팅 분산 파rameter를 조정하여 르아플루프 지수(χ₁ = 1)를 단위 값으로 설정함으로써, 역동적 등장성을 보장하는 임계 초기화 기법을 도입한다.
• 이론을 활용해 RNN의 학습 가능한 영역을 예측하고, 순서 모델링 작업에서의 실증적 훈련 역학과 비교 검증한다.
• 아키텍처의 복잡성과는 별개로 게이팅 효과를 분리하기 위해 단일 학습 가능한 게이팅 레이어를 가진 간소화된 게이팅 RNN 셀(minimalRNN)을 활용한다.
• 시퀀스 예측 및 언어 모델링 작업에서 이론적 예측을 실험적으로 검증하며, 초기화 방법 및 아키텍처 간의 훈련 속도와 수렴 성능을 비교한다.

실험 결과

연구 질문

• RQ1 게이팅이 순수 RNN과 비교해 순환 신경망의 안정성과 학습 가능성에 어떤 영향을 미치는가?
• RQ2 랜덤 초기화 후 순수 RNN 및 게이팅 RNN에서 신호가 전파될 수 있는 최대 시간스케일은 얼마인가?
• RQ3 순수 RNN 및 게이팅 RNN에서 역동적 등장성을 달성하는 폐쇄형 초기화 기법을 도출할 수 있는가?
• RQ4 역동적 등장성을 달성하면 실제로 훨씬 더 빠른 훈련 속도와 향상된 성능를 얻을 수 있는가?
• RQ5 간단한 게이팅 RNN(minimalRNN)이 LSTMs 및 GRUs와 같은 복잡한 아키텍처와 유사한 성능을 달성할 수 있는가?

주요 결과

• 순수 RNN은 매개변수 공간 내에서 일차원 선상(혼돈과 질서의 경계에서 직교 가중치)에서만 역동적 등장성을 달성할 수 있어, 초기화에 매우 민감하다.
• minimalRNN는 역동적 등장성을 달성하는 다차원 초기화 하위 공간을 지녀, 순수 RNN보다 훨씬 더 뛰어난 학습 가능성을 확보한다.
• 임계 초기화된 RNN(순수 RNN 및 minimalRNN 모두)은 비임계 초기화보다 훈련 속도가 최대 두 계단 빠르며, 순수 RNN의 경우 수렴에 16,000단계의 차이가 발생한다.
• minimalRNN는 2000만 파라미터로 Penn Treebank 코퍼스에서 테스트 퍼플렉서티 89.9를 기록했으며, GRU(89.8)와 유사하고 LSTM(83.8)과도 유사한 성능를 보였다.
• 순수 RNN에서는 초기화 방법(직교 vs. 가우시안)이 훈련 속도에 큰 영향을 주지만, minimalRNN에서는 영향이 거의 없어 게이팅의 안정성을 확인한다.
• 이론은 최대 학습 가능한 시간스케일을 정확히 예측하며, 이론적 예측과 실증적 훈련 역학 간에 강력한 일치를 보였다.