[논문 리뷰] Understanding LSTM -- a tutorial into Long Short-Term Memory Recurrent Neural Networks

Ralf C. Staudemeyer, Eric Rothstein Morris|arXiv (Cornell University)|2019. 09. 12.

Neural Networks and Applications인용 수 497

한 줄 요약

LSTM-RNNs의 진화를 재조명하고 표기법을 통일하며 FFNNs, 역전파, 및 순환 신경망의 학습을 포함한 초기 간행물의 핵심 개념을 설명하는 튜토리얼.

ABSTRACT

Long Short-Term Memory Recurrent Neural Networks (LSTM-RNN) are one of the most powerful dynamic classifiers publicly known. The network itself and the related learning algorithms are reasonably well documented to get an idea how it works. This paper will shed more light into understanding how LSTM-RNNs evolved and why they work impressively well, focusing on the early, ground-breaking publications. We significantly improved documentation and fixed a number of errors and inconsistencies that accumulated in previous publications. To support understanding we as well revised and unified the notation used.

연구 동기 및 목표

• LSTM-RNN이 초기 퍼셉트론 기반 모델에서 어떻게 진화했는지와 왜 잘 작동하는지 명확히 설명한다.
• 역사적 논문들로 인한 혼란을 줄이기 위해 통일된 표기법을 제공한다.
• 퍼셉트론, 시그모이드 유닛, FFNNs, 역전파, 순환 아키텍처 등 기초 개념을 설명한다.
• RNN의 학습 알고리즘(BPTT 및 RTRL)과 소실 경사의 문제를 다룬다.
• 세부 도출을 통해 초보자가 LSTM과 그 확장들을 이해하도록 돕는다.

제안 방법

• LSTM으로 이어지는 신경망의 역사적 문헌을 검토한다.
• LSTM 관련 방정식과 변수에 대한 통일된 표기법을 제시한다.
• 퍼셉트론, 델타 규칙, 시그모이드 유닛, 그리고 피드포워드 네트워크에 대한 핵심 방정식을 도출한다.
• FFNN에서의 역전파를 설명하고 이를 순환 아키텍처(RNNs)로 확장한다.
• RNN의 학습 방법으로 Backpropagation Through Time (BPTT)와 Real-Time Recurrent Learning (RTRL)을 설명한다.
• 소실 경사 문제와 그것이 RNN 학습에 미치는 함의를 논의한다.

실험 결과

연구 질문

• RQ1 초기 간행물로부터 LSTM-RNN의 역사적 진화는 무엇인가?
• RQ2 통일된 표기법이 LSTM 및 관련 네트워크의 이해를 어떻게 향상시킬 수 있는가?
• RQ3 핵심 학습 규칙(퍼셉트론, 델타 규칙, 역전파)이 FFNN에서 RNN으로 어떻게 확장되는가?
• RQ4 RNN은 BPTT와 RTRL로 어떻게 학습되며 어떤 도전 과제(예: 소실 경사)가 발생하는가?
• RQ5 튜토리얼에서 다루는 LSTM의 확장 및 변형은 무엇이며, 이것들이 기초 개념과 어떻게 연관되는가?

주요 결과

• 본 논문은 초기 LSTM 간행물 전반의 불일치를 해소하기 위해 통일된 표기법과 설명적 도해를 제공한다.
• 퍼셉트론에서 일반 LSTM 및 확장까지의 진화를 자세한 도출과 함께 문서화한다.
• FFNNs가 시그모이드 유닛을 통해 비선형 결정 경계를 표현할 수 있음을 강조하며, 선형 퍼셉트론과 대비된다.
• 피드포워드 네트워크에서의 역전파를 설명하고 그 방법론을 순환 아키텍처(RNNs)로 확장한다.
• 주요 두 가지 RNN 학습 접근법인 BPTT와 RTRL을 개요하고 그 특징과 사용 사례를 논의한다.
• RNN에서의 소실 경사 문제를 다루고 그 수학적 기초를 설명한다.