[논문 리뷰] A Critical Review of Recurrent Neural Networks for Sequence Learning

Zachary C. Lipton, John Berkowitz외 1명|arXiv (Cornell University)|2015. 05. 29.

Multimodal Machine Learning Applications참고 문헌 70인용 수 2,087

한 줄 요약

시퀀스 학습을 위한 순환 신경망(RNNs)에 대한 연구 개요로, 아키텍처(LSTM 및 BRNN과 같은), 학습 문제(소실/발산 기울기), 그리고 생물학적 타당성보다는 실증 결과에 중점을 둔 역사적 발전을 다룬다.

ABSTRACT

Countless learning tasks require dealing with sequential data. Image captioning, speech synthesis, and music generation all require that a model produce outputs that are sequences. In other domains, such as time series prediction, video analysis, and musical information retrieval, a model must learn from inputs that are sequences. Interactive tasks, such as translating natural language, engaging in dialogue, and controlling a robot, often demand both capabilities. Recurrent neural networks (RNNs) are connectionist models that capture the dynamics of sequences via cycles in the network of nodes. Unlike standard feedforward neural networks, recurrent networks retain a state that can represent information from an arbitrarily long context window. Although recurrent neural networks have traditionally been difficult to train, and often contain millions of parameters, recent advances in network architectures, optimization techniques, and parallel computation have enabled successful large-scale learning with them. In recent years, systems based on long short-term memory (LSTM) and bidirectional (BRNN) architectures have demonstrated ground-breaking performance on tasks as varied as image captioning, language translation, and handwriting recognition. In this survey, we review and synthesize the research that over the past three decades first yielded and then made practical these powerful learning models. When appropriate, we reconcile conflicting notation and nomenclature. Our goal is to provide a self-contained explication of the state of the art together with a historical perspective and references to primary research.

연구 동기 및 목표

• 실세계 작업에서 시퀀스화를 명시적으로 모델링하는 것이 왜 가치가 있는지 설명한다.
• 시퀀스 설정에서 Markov 모델과 전통적 피드포워드 네트의 한계를 논의한다.
• RNN 아키텍처, 학습 과제, 실용적 결과에 대한 일관되고 자립적인 개요를 제공한다.

제안 방법

• 3천년의 RNN 연구를 검토하고 종합한다.
• 표기법을 명확히 하고 상충하는 출처들 간의 용어를 일관되게 정리한다.
• RNN의 순전파와 역전파를 설명하고 시간에 걸친 역전파의 역할을 설명한다.

실험 결과

연구 질문

• RQ1 실용적 작업과 장기 의존성에 대해 명시적 시퀀스 모델링이 왜 필요한가?
• RQ2 RNN은 시간 의존성과 장기 맥락 처리에서 Markov 모델과 어떻게 다른가?
• RQ3 어떤 아키텍처, 학습 기법, 최적화가 대규모 RNN 학습의 성공을 가능하게 했나?
• RQ4 RNN의 발전에서 역사적 이정표와 주요 실증 발견은 무엇인가?
• RQ5 현대 RNN 변형(LSTM 및 BRNN)은 학습 문제를 어떻게 해결하고 성능을 개선했나?

주요 결과

• RNN은 고정 맥락 창을 넘어서는 장기 의존성을 포착할 수 있어 간단한 윈도우 및 Markov 모델의 한계를 해결한다.
• 소실 및 발산 기울기와 같은 학습 문제가 LSTM 및 관련 아키텍처의 개발을 촉진했다.
• 시간에 걸친 역전파(backpropagation through time)는 여러 시점에 걸쳐 RNN의 엔드-투-엔드 학습을 가능하게 한다.
• BRNN 및 LSTM 아키텍처와 최적화 및 병렬 컴퓨팅의 발전은 시퀀스 작업에서 상당한 실증적 진전을 이끌어 왔다.
• NTM(neural Turing machines) 및 외부 기억과 같은 확장은 RNN의 능력을 더욱 확장한다.