[논문 리뷰] Learning Longer Memory in Recurrent Neural Networks

Tomáš Mikolov, Armand Joulin외 3명|arXiv (Cornell University)|2014. 12. 24.

Neural Networks and Applications인용 수 18

한 줄 요약

이 논문은 표준 순환 신경망(RNN)의 간단한 아키텍처 수정을 제안하여, 일부 순환 가중치 행렬을 항등행렬에 가깝게 만들어 장기적 의존성을 학습할 수 있도록 한다. 이로 인해 지속적 기억의 형태가 생성되며, 단순 경사하강법만을 사용하여 LSTM 네트워크 수준의 성능을 달성한다. 이는 기울기 소멸 문제로 인해 RNN에서 효과적인 장기 학습이 불가능하다는 오랜 믿음이 잘못되었음을 시사한다.

ABSTRACT

Recurrent neural network is a powerful model that learns temporal patterns in sequential data. For a long time, it was believed that recurrent networks are difficult to train using simple optimizers, such as stochastic gradient descent, due to the so-called vanishing gradient problem. In this paper, we show that learning longer term patterns in real data, such as in natural language, is perfectly possible using gradient descent. This is achieved by using a slight structural modification of the simple recurrent neural network architecture. We encourage some of the hidden units to change their state slowly by making part of the recurrent weight matrix close to identity, thus forming kind of a longer term memory. We evaluate our model in language modeling experiments, where we obtain similar performance to the much more complex Long Short Term Memory (LSTM) networks (Hochreiter & Schmidhuber, 1997).

연구 동기 및 목표

• RNN가 기울기 소멸 문제로 인해 장기적 의존성을 학습할 수 없다는 오랜 믿음을 해결하기 위해.
• 단순한 최적화 방법인 확률적 경사하강법이 장기적 시간 패턴 학습을 위해 RNN을 효과적으로 훈련시킬 수 있는지 탐구하기 위해.
• 모델 복잡도를 증가시키지 않고도 기억 지속성을 향상시킬 수 있는 최소한의 아키텍처 변경을 개발하기 위해.
• 보다 복잡한 아키텍처인 LSTM과 동등한 성능을 달성하면서도 더 단순하고 효율적인 설계를 얻기 위해.

제안 방법

• 일부 은닉 유닛이 항등행렬에 가까운 순환 가중치 행렬로 업데이트되도록 수정된 RNN 아키텍처를 도입한다.
• 이 유닛들이 많은 시간 단계에 걸쳐 상태를 유지함으로써, 실제로 장기 기억 저류를 형성한다.
• 복잡한 최적화 방법을 피하기 위해 표준 확률적 경사하강법을 사용하여 훈련한다.
• 표준 RNN 재귀 방정식을 유지하지만, 순환 가중치 행렬에 항등행렬에 가까운 성분을 포함하도록 수정한다.
• 손실 또는 출력 레이어에 대한 아키텍처 변경 없이, 백프로파게이션 스루 타임을 통한 엔드 투 엔드 훈련을 수행한다.

실험 결과

연구 질문

• RQ1 표준 확률적 경사하강법으로 RNN이 순차적 데이터에서 장기적 의존성을 학습시킬 수 있는가?
• RQ2 순환 가중치 행렬의 일부를 항등행렬에 가깝게 만드는 최소한의 아키텍처 수정이 RNN에서 지속적 기억을 가능하게 하는가?
• RQ3 이 수정된 RNN의 언어 모델링 작업에서 LSTM 성능과 비교해 볼 때 어떤가?
• RQ4 복잡한 기억 게이트나 셀 상태를 도입하지 않더라도 기울기 소멸 문제를 완화시킬 수 있는가?

주요 결과

• 이 수정된 RNN는 단순한 확률적 경사하강법만을 사용하여 장기적 의존성을 효과적으로 학습하며, 장기간 지속된 믿음이 잘못되었음을 뒷받침한다.
• 이 모델은 매우 더 복잡한 LSTM 네트워크와 비교해 언어 모델링 작업에서 유사한 성능을 달성한다.
• 핵심 혁신은 선택된 은닉 유닛에 대해 순환 가중치 행렬을 항등행렬에 가깝게 만드는 것으로, 이는 장기 기억의 형태를 성공적으로 생성한다.
• 추가 하이퍼파ram터나 복잡한 구성 요소가 필요 없어, LSTM보다 더 단순하고 효율적이다.