[논문 리뷰] Understanding LSTM -- a tutorial into Long Short-Term Memory Recurrent Neural Networks

Ralf C. Staudemeyer, Eric Rothstein Morris|arXiv (Cornell University)|2019. 09. 12.

Neural Networks and Applications참고 문헌 78인용 수 152

한 줄 요약

한 튜토리얼이 LSTM-RNN의 진화를 재조명하고 초기 연구들 간 표기법을 통일하며 핵심 학습 알고리즘(BPTT 및 RTRL 포함)과 소실되는 그래디언트 문제를 설명한다.

ABSTRACT

Long Short-Term Memory Recurrent Neural Networks (LSTM-RNN) are one of the most powerful dynamic classifiers publicly known. The network itself and the related learning algorithms are reasonably well documented to get an idea how it works. This paper will shed more light into understanding how LSTM-RNNs evolved and why they work impressively well, focusing on the early, ground-breaking publications. We significantly improved documentation and fixed a number of errors and inconsistencies that accumulated in previous publications. To support understanding we as well revised and unified the notation used.

연구 동기 및 목표

• LSTM-RNN이 기본 퍼셉턴에서 LSTM 아키텍처로 어떻게 진화했고 왜 성능이 좋은지 설명한다.
• 초기 LSTM 관련 방정식과 확장을 명확히 하기 위해 통일된 표기법과 서술적 도해를 제공한다.
• 기초 학습 알고리즘(역전파, BPTT, RTRL)과 RNN 학습에서의 역할을 조사한다.
• 소실/발산 그래디언트 문제를 명확히 하고 순환 네트워크에서 이를 완화하는 전략을 논의한다/고려한다.

제안 방법

• 퍼셉턴에서 LSTM-RNN에 이르는 신경망 개념에 대한 튜토리얼 스타일의 해석을 제시한다.
• 초기 LSTM 관련 방정식에 대한 표기법을 도출하고 단위, 가중치, 바이어스, 활성화 등의 핵심 구성요소를 통일하여 설명한다.
• 피드포워드 네트워크, 역전파, 델타 학습 규칙을 설명하여 RNN의 기초를 마련한다.
• Elman, Jordan, 완전 순환 네트워크와 같은 순환 아키텍처 및 BPTT와 RTRL을 통한 학습 방법을 설명한다.
• 소실되는 그래디언트 문제와 그래디언트가 폭주하거나 소실되는 조건을 분석한다.

실험 결과

연구 질문

• RQ1 기본 퍼셉턴에서 현대 LSTM 네트워크까지 LSTM-RNN의 역사적 진화는 어떻게 되는가?
• RQ2 통일된 표기법과 서술적 도해가 초기 LSTM 방정식과 확장을 이해하는 데 어떻게 도움이 되는가?
• RQ3 핵심 학습 알고리즘(역전파, BPTT, RTRL)이 순환 아키텍처에 어떻게 적용되며 그 트레이드오프는 무엇인가?
• RQ4 RNN에서 소실 및 발산 그래디언트가 발생하는 원인은 무엇이며 이에 대한 통찰이나 전략은 무엇인가?

주요 결과

• 논문은 초기 LSTM 관련 방정식과 확장을 명확히 하기 위한 통일된 표기법과 서술적 도해를 제공한다.
• 퍼셉턴에서 순환 아키텍처로의 진행 과정을 검토하고 vanilla LSTM 및 그 기초적인 단계들을 포함한다.
• 역전파, 델타 학습, 그리고 비선형 함수 근사를 가능하게 하는 시그모이드 유닛의 역할을 설명한다.
• Elman, Jordan 등 순환 아키텍처와 그들의 BPTT 및 RTRL을 통한 학습 방법을 다루며 온라인 학습과 오프라인 학습의 측면을 강조한다.
• RNN에서 소실/발산 그래디언트 문제를 분석하고 그래디언트가 증가하거나 소실될 수 있는 조건을 제시한다.