[논문 리뷰] Deep Recurrent Neural Networks for Time Series Prediction

Sharat C. Prasad, P. Vara Prasad|arXiv (Cornell University)|2014. 07. 22.

EEG and Brain-Computer Interfaces참고 문헌 12인용 수 26

한 줄 요약

이 논문은 시간 시리즈의 고차원 시간 동적 특성을 모델링하기 위해 확장된 시간을 거꾸로 전파하는(deep recurrent neural networks, RNNs)을 제안하며, 이는 엔드 투 엔드 특징 추출과 예측을 가능하게 한다. 이 방법은 간질 발작 예측에서 평균 99% 이상의 탐지율을 달성하여 더 깊은 아키텍처와 동적 프로그래밍 학습을 통해 뛰어난 일반화 능력과 오차 감소 효과를 보여준다.

ABSTRACT

Ability of deep networks to extract high level features and of recurrent networks to perform time-series inference have been studied. In view of universality of one hidden layer network at approximating functions under weak constraints, the benefit of multiple layers is to enlarge the space of dynamical systems approximated or, given the space, reduce the number of units required for a certain error. Traditionally shallow networks with manually engineered features are used, back-propagation extent is limited to one and attempt to choose a large number of hidden units to satisfy the Markov condition is made. In case of Markov models, it has been shown that many systems need to be modeled as higher order. In the present work, we present deep recurrent networks with longer backpropagation through time extent as a solution to modeling systems that are high order and to predicting ahead. We study epileptic seizure suppression electro-stimulator. Extraction of manually engineered complex features and prediction employing them has not allowed small low-power implementations as, to avoid possibility of surgery, extraction of any features that may be required has to be included. In this solution, a recurrent neural network performs both feature extraction and prediction. We prove analytically that adding hidden layers or increasing backpropagation extent increases the rate of decrease of approximation error. A Dynamic Programming (DP) training procedure employing matrix operations is derived. DP and use of matrix operations makes the procedure efficient particularly when using data-parallel computing. The simulation studies show the geometry of the parameter space, that the network learns the temporal structure, that parameters converge while model output displays same dynamic behavior as the system and greater than .99 Average Detection Rate on all real seizure data tried.

연구 동기 및 목표

• 시간 시리즈에서 고차원 시간 의존성을 포착하는 데에 한계가 있는 浅층 네트워크와 마르코프 모델의 문제점을 해결하기 위해.
• 단일한 딥 순환 아키텍처 내에서 시간적 특징과 예측을 엔드 투 엔드로 학습할 수 있도록 하기 위해.
• 더 깊은 네트워크 구조를 활용하여 정확한 근사에 필요한 유닛 수를 줄이기 위해.
• 확장 가능한 학습을 위해 동적 프로그래밍과 행렬 연산을 활용한 효율적인 학습 절차를 개발하기 위해.
• 딥 RNN의 실용성을 실세계 생물의학적 시간 시리즈, 특히 간질 발작 예측에서 입증하기 위해.

제안 방법

• 제안된 모델은 복잡한 시간 동적 특성을 모델링하기 위해 다중 은닉층을 갖춘 딥 순환 신경망을 사용한다. 이는 얕은 네트워크가 다룰 수 없는 범위를 초월한다.
• 시간을 거꾸로 전파하는(backpropagation through time) 방식을 한 단계를 초월하여 적용함으로써 장거리 의존성을 포착하고, 고차원 마르코프 과정의 모델링을 향상시킨다.
• 장기간의 시퀀스를 통해 기울기를 효율적으로 계산하기 위해 매트릭스 연산을 활용한 동적 프로그래밍 기반의 학습 알고리즘을 유도한다.
• 데이터 병렬 처리를 지원하여 대규모 시간 시리즈 데이터에서의 학습 효율성을 향상시킨다.
• 특징 추출과 예측을 동시에 수행하므로 수작업으로 설계된 특징이 필요 없어진다.
• 이론적 분석을 통해 깊이를 증가시키거나 백프로파게이션 범위를 늘릴수록 근사 오차 감소 속도가 가속됨을 입증한다.

실험 결과

연구 질문

• RQ1 확장된 시간을 거꾸로 전파하는 딥 순환 네트워크는 고차원 시간 의존성을 모델링하는 데 있어 얕은 네트워크를 능가할 수 있는가?
• RQ2 네트워크의 깊이나 백프로파게이션 길이를 늘릴수록 시간 시리즈 모델링에서 근사 오차 감소 속도는 어느 정도 향상되는가?
• RQ3 딥 RNN에서의 엔드 투 엔드 학습은 생물의학적 시간 시리즈 예측에서 수작업 특징 설계가 불필요해지는가?
• RQ4 제안된 동적 프로그래밍 기반 학습 절차는 장기간의 시퀀스에 대해 효율성과 확장성 면에서 어떻게 향상되는가?
• RQ5 딥 RNN의 실증적 성능은 기존 방법 대비 간질 발작 예측에서 어떻게 나타나는가?

주요 결과

• 딥 RNN 모델은 모든 테스트된 실시간 간질 발작 데이터에서 평균 탐지율이 99%를 초과하여 높은 예측 정확도를 입증했다.
• 이론적 분석을 통해 은닉층을 추가하거나 백프로파게이션 범위를 늘릴수록 근사 오차 감소 속도가 가속됨을 확인했다.
• 시뮬레이션 연구를 통해 네트워크가 기저 시간 시스템의 동적 행동을 성공적으로 학습하고 재현함을 입증했다.
• 학습 과정에서 매개변수 수렴가 관찰되어 복잡한 매개변수 공간 내에서 안정적인 최적화가 이루어짐을 나타낸다.
• 동적 프로그래밍과 행렬 연산을 활용함으로써 효율적인 학습이 가능했으며, 특히 데이터 병렬 처리 아키텍처를 활용할 경우 유의미하게 향상되었다.
• 수작업 특징 설계가 불필요해져, 임플란트 장치에 적합한 컴act하고 저전력 구현이 가능해졌다.