[논문 리뷰] Recent Advances in Recurrent Neural Networks

Hojjat Salehinejad, Sharan Sankar외 3명|arXiv (Cornell University)|2017. 12. 29.

Time Series Analysis and Forecasting참고 문헌 96인용 수 580

한 줄 요약

회귀 신경망(RNNs)에 대한 고찰로, 기본 원리, 소실/폭발 기울기와 같은 훈련 문제, BPTT, LSTM 변형 및 HF/Adam EKF 접근법을 포함한 아키텍처와 최적화 방법에 대한 survey.

ABSTRACT

Recurrent neural networks (RNNs) are capable of learning features and long term dependencies from sequential and time-series data. The RNNs have a stack of non-linear units where at least one connection between units forms a directed cycle. A well-trained RNN can model any dynamical system; however, training RNNs is mostly plagued by issues in learning long-term dependencies. In this paper, we present a survey on RNNs and several new advances for newcomers and professionals in the field. The fundamentals and recent advances are explained and the research challenges are introduced.

연구 동기 및 목표

• 이산 시간 RNN의 기본 원리와 은닉 상태를 통한 기억(memory)을 설명한다.
• 소실/폭발 기울기와 그 원인과 같은 훈련상의 도전과제를 검토한다.
• 시계열 모델링에서의 주요 RNN 아키텍처와 정규화 기법들을 조사한다.
• 그래디언트 기반, 칼만 필터 기반, 2차 계, 전역 탐색 전략 등을 포함한 최적화 및 훈련 방법을 강조한다.

제안 방법

• 입력, 은닉, 출력 계층 및 상태 업데이트와 출력에 대한 방정식을 포함한 표준 RNN 형식을 제시한다.
• 활성화 함수와 이것이 그래디언트 흐름 및 학습에 미치는 영향을 논의한다.
• 역전파를 시간적으로 펼친 Back-propagation Through Time(BPTT), 그래디언트 클리핑, 그리고 최적화 알고리즘(SGD, Adam, 모멘텀, Nesterov)을 포함한 훈련 방법을 조사한다.
• 온라인 학습을 위한 확장 칼만 필터(EKF) 기반 학습과 그 분리된(decoupled) 변형을 기술한다.
• 해시안-프리 최적화와 깊은 신경망 또는 순환 모델의 학습에서의 역할을 설명한다.
• RNN 토폴로지와 매개변수 탐색을 위한 전역 최적화 방법과 진화적 방법을 다룬다.

실험 결과

연구 질문

• RQ1 장기 의존성에 대해 RNN을 훈련할 때의 핵심 과제는 무엇인가?
• RQ2 다양한 그래디언트 기반 및 비그래디언트 기반 방법이 RNN의 소실/폭발 기울기에 어떻게 대응하는가?
• RQ3 다양한 RNN 아키텍처와 훈련 체계가 시계열 작업에서의 성능에 어떤 영향을 미치는가?
• RQ4 RNN 훈련에 적합한 최적화 프레임워크(2차 계, 해시안-프리(HF), 칼만 기반, 전역)들은 무엇이며, 언제 이점이 있는가?

주요 결과

• RNN은 동적 시스템을 모델링할 수 있지만 훈련은 소실 및 폭발 기울기에 의해 방해받는다.
• 시간을 따라 역전파(BPTT)는 기울기를 시간에 걸쳐 확장하여 장기 의존성의 문제를 보여준다.
• SGD, Adam, 모멘텀, 그래디언트 클리핑, EKF/DEKF, 해시안-프리 최적화 등 다양한 훈련 방법이 존재한다.
• 깊은 전이거나 깊은 출력이 있는 하이브리드 아키텍처가 특정 작업에서 성능을 향상시킬 수 있다.
• 전역 최적화 및 진화 전략은 더 높은 복잡성에도 불구하고 토폴로지와 매개변수 조정에 대한 대안적 경로를 제공한다.
• HF 최적화와 온라인 EKF 기반 방법은 비정상적이거나 온라인 데이터에서 RNN 학습에 가능성을 보인다.