[논문 리뷰] Recurrent Neural Networks and Long Short-Term Memory Networks: Tutorial and Survey

Benyamin Ghojogh, Ali Ghodsi|arXiv (Cornell University)|2023. 04. 22.

Neural Networks and Reservoir Computing인용 수 16

한 줄 요약

이 튜토리얼은 RNN, LSTM 및 변형들을 조사하며, 동적 시스템, BPTT, 그래디언트 소실/폭주, GRU 및 ELMo 맥락을 포함한 양방향 아키텍처를 자세히 설명한다.

ABSTRACT

This is a tutorial paper on Recurrent Neural Network (RNN), Long Short-Term Memory Network (LSTM), and their variants. We start with a dynamical system and backpropagation through time for RNN. Then, we discuss the problems of gradient vanishing and explosion in long-term dependencies. We explain close-to-identity weight matrix, long delays, leaky units, and echo state networks for solving this problem. Then, we introduce LSTM gates and cells, history and variants of LSTM, and Gated Recurrent Units (GRU). Finally, we introduce bidirectional RNN, bidirectional LSTM, and the Embeddings from Language Model (ELMo) network, for processing a sequence in both directions.

연구 동기 및 목표

• RNN의 동적 시스템 기반과 순환이 시퀀스 처리를 가능하게 하는 방법 설명.
• BPTT를 통한 학습과 장기 의존성에서의 그래디언트 문제를 설명.
• 그래디언트 소실/폭주에 대한 해결책으로 거의 항등 행렬, 긴 지연, 누출 유닛, 에코 상태 네트워크, LSTM 및 GRU와 같은 아키텍처 변형을 논의.
• 양방향 RNN/LSTM과 Embeddings from Language Model(ELMo)을 양방향 시퀀스 처리기로 소개.

제안 방법

• 시간에 걸쳐 공유된 매개변수를 갖는 RNN 형식과 상태, 입력, 출력에 대한 연관된 순방향 방정식(Eqs. 3–6)을 제시한다.
• 출력, 상태 및 모든 학습 가능한 매개변수에 대한 BPTT 및 그래디언트를 도출한다(Eqs. 8–22).
• 사슬 법칙 분석(Eq. 24)을 통한 그래디언트 소실/폭주를 논의하고 근사-항등 W, 긴 지연, 누출 유닛, 에코 상태 네트워크를 포함한 해결책을 제시한다.
• LSTM 게이트와 셀을 설명하고, 메모리 관리에 있어 입력 게이트, 포겟 게이트(잊기 게이트), 출력 게이트의 역할과 피홀(peepholes)을 포함한 역할을 설명한다.
• 양방향 변형과 ELMo를 양방향 언어 모델링 기초로 소개한다.
• 관련 튜토리얼과 조사를 검토하여 本 연구를 문헌 속에 위치시키기 위한 관련 튜토리얼과 설문 조사를 검토한다.

실험 결과

연구 질문

• RQ1 RNN은 재귀 및 매개변수 공유를 통해 시퀀스를 어떻게 모델링하는가?
• RQ2 훈련 동안 RNN에서 그래디언트 소실/폭주의 원인은 무엇이며 이러한 문제를 어떻게 완화할 수 있는가?
• RQ3 짧은 및 긴 기간 의존성을 효과적으로 포착하는 아키텍처와 메커니즘은 무엇인가(LSTM, GRU, ESN, 누출 유닛, 긴 지연 포함)?
• RQ4 양방향성 및 맥락 임베딩(ELMo)이 시퀀스 처리에서 차지하는 역할은 무엇인가?
• RQ5 대체 RNN 변형들이 순차 데이터 작업을 처리하는 데 어떤 차이가 있는가?

주요 결과

• RNN은 재귀적 상태 업데이트를 활용하여 시퀀스를 처리하며, 학습에는 시간 확장 역전파를 포함한 BPTT를 사용한다.
• 그래디언트 소실 및 폭주는 반복적인 비선형 변환에서 발생하며, 특히 긴 시퀀스에서 장기 의존성 모델링을 어렵게 한다.
• 해결책으로 거의 항등에 가까운 또는 직교 가중치 행렬, 긴 지연 연결, 누출 유닛, 그리고 그래디언트를 안정시키기 위한 에코 상태 네트워크가 있다.
• LSTM과 GRU는 기억을 조절하는 게이트를 도입하여 그래디언트 문제를 완화하고 더 나은 장기 의존성 학습을 가능하게 한다.
• 양방향 RNN과 LSTM은 두 방향으로 시퀀스를 처리할 수 있게 하며, ELMo는 맥락이 풍부한 임베딩을 위한 양방향 언어 모델링을 보여준다.