[논문 리뷰] Dynamical Isometry and a Mean Field Theory of LSTMs and GRUs

Dar Gilboa, Bo Chang외 5명|arXiv (Cornell University)|2019. 01. 25.

Neural Networks and Applications참고 문헌 31인용 수 25

한 줄 요약

이 논문은 LSTMs와 GRUs에서의 신호 전파에 대한 평균장 이론을 제안하며, 동적 등장성(dynamical isometry)을 보장하는 새로운 초기화 기법을 유도한다. 이는 안정적인 전방 및 역방향 신호 전파를 가능하게 하여 장수열 작업에서 효과적인 학습을 가능하게 한다. 이 방법은 학습 속도와 일반화 능력을 향상시키며, 장수열에서 표준 초기화 방식에 비해 수개의 주기 이상으로 성능을 뛰어넘는다.

ABSTRACT

Training recurrent neural networks (RNNs) on long sequence tasks is plagued with difficulties arising from the exponential explosion or vanishing of signals as they propagate forward or backward through the network. Many techniques have been proposed to ameliorate these issues, including various algorithmic and architectural modifications. Two of the most successful RNN architectures, the LSTM and the GRU, do exhibit modest improvements over vanilla RNN cells, but they still suffer from instabilities when trained on very long sequences. In this work, we develop a mean field theory of signal propagation in LSTMs and GRUs that enables us to calculate the time scales for signal propagation as well as the spectral properties of the state-to-state Jacobians. By optimizing these quantities in terms of the initialization hyperparameters, we derive a novel initialization scheme that eliminates or reduces training instabilities. We demonstrate the efficacy of our initialization scheme on multiple sequence tasks, on which it enables successful training while a standard initialization either fails completely or is orders of magnitude slower. We also observe a beneficial effect on generalization performance using this new initialization.

연구 동기 및 목표

• 긴 수열 작업에서 기울기 소실 또는 폭발로 인한 LSTMs와 GRUs 학습의 불안정성 문제를 해결하기 위해.
• 순환 신경망에서의 신호 전파 및 자코비안 스펙트럼 성질을 분석하기 위한 이론적 프레임워크를 개발하기 위해.
• 동적 등장성을 보장하고 학습 가능성 향상을 도모하는 체계적인 초기화 기법을 도출하기 위해.
• 최적화된 초기화가 학습 효율성과 일반화 성능을 향상시킬 수 있음을 입증하기 위해.

제안 방법

• LSTMs와 GRUs에서의 전방 신호 전파와 역방향 기울기 안정성에 대해 평균장 이론을 적용한다.
• 무작위 행렬 이론을 사용하여 상태 간 자코비안의 스펙트럼 성질을 분석하여 기울기 흐름의 안정성을 확보한다.
• 다양한 초기화 하이퍼파rameter 하에서 상관관계 변화와 특이값 모멘트의 고정점 방정식을 유도한다.
• 동적 등장성을 달성하기 위해 초기화 하이퍼파rameter(예: 가중치와 편향의 평균 및 분산)를 최적화한다.
• LSTMs에서 정적 세포 상태 분포를 정확한 모멘트 계산을 위해 샘플링 알고리즘을 활용한다.
• 다양한 수열 길이에서 MNIST 및 CIFAR-10 작업에 대한 시뮬레이션과 실험을 통해 예측을 검증한다.

실험 결과

연구 질문

• RQ1 LSTMs와 GRUs에서 안정적인 신호 전파를 달성하기 위해 필요한 초기화 하이퍼파ram터는 무엇인가?
• RQ2 상태 간 자코비안의 스펙트럼 성질이 순환 신경망에서 학습 안정성에 어떤 영향을 미치는가?
• RQ3 평균장 이론이 신호 전파 시간 상수와 기울기 안정성 예측에 정확하게 작용할 수 있는가?
• RQ4 이 이론에서 도출된 임계 초기화 기법이 장수열 작업에서 학습 속도와 일반화 성능 향상에 기여하는가?

주요 결과

• 제안된 초기화 기법은 표준 초기화 방식이 실패하거나 지수적으로 느린 장수열에서 LSTMs의 성공적인 학습을 가능하게 한다.
• 임계 초기화는 MNIST 및 CIFAR-10과 같은 장수열 작업에서 학습 시간을 수개의 주기 이상으로 단축시킨다.
• 가중치 및 편향 분포의 평균과 분산을 균형 있게 조정함으로써 동적 등장성을 달성하여 전방 및 역방향 신호 전파를 안정화시킨다.
• 실험 결과, 예측된 신호 전파 시간 상수가 학습 성능과 강하게 상관되며, 특히 가중치가 분리된 가정 하에서 두드러진다.
• 이론적 예측은 시뮬레이션 결과와 밀도 있게 일치하여, GRUs와 LSTMs 모두에 대해 평균장 근사가 타당함을 검증한다.
• 최적화된 초기화 기법은 일반화 능력을 향상시켜 최적화 과정이 더 일반화 가능한 해로 수렴하도록 이끈다고 제안된다.