[논문 리뷰] Deep Learning for Time-Series Analysis

John Cristian Borges Gamboa|arXiv (Cornell University)|2017. 01. 07.

Time Series Analysis and Forecasting참고 문헌 44인용 수 161

한 줄 요약

본 논문은 시계열 작업에 대한 딥러닝 방법들을 고찰하며 모델링, 분류, 이상 탐지 등을 다루고, UFCNN, GAF/MTF 영상 표현, 스택된 LSTM 접근 방식들 같은 예를 제시한다.

ABSTRACT

In many real-world application, e.g., speech recognition or sleep stage classification, data are captured over the course of time, constituting a Time-Series. Time-Series often contain temporal dependencies that cause two otherwise identical points of time to belong to different classes or predict different behavior. This characteristic generally increases the difficulty of analysing them. Existing techniques often depended on hand-crafted features that were expensive to create and required expert knowledge of the field. With the advent of Deep Learning new models of unsupervised learning of features for Time-series analysis and forecast have been developed. Such new developments are the topic of this paper: a review of the main Deep Learning techniques is presented, and some applications on Time-Series analysis are summaried. The results make it clear that Deep Learning has a lot to contribute to the field.

연구 동기 및 목표

• 수작업으로 설계된 특징을 넘어서는 시간 의존성을 가진 시계열 데이터에 대해 딥러닝의 활용의 필요성을 동기화한다.
• CNN, R, LSTM 같은 핵심 뉴럴 아키텍처와 시계열에 대한 이들의 적응들을 검토한다.
• 시계열 모델링, 분류, 이상 탐지에 대한 방법들을 제시한다.
• 시계열 맥락에서 예측 및 패턴 인식 성능을 어떻게 향상시킬 수 있는지 논의한다.

제안 방법

• 기본 ANN 모듈과 CNN 및 RNN(LSTM 포함)이 시계열에 어떻게 적용되는지 설명한다.
• UFCNN(Undecimated FCN)와 그 평행이동 불변성 특성 같은 시계열용 특수 아키텍처를 소개한다.
• CNN 기반 분류를 위한 Gramian Angular Fields (GAF)와 Markov Transition Fields (MTF)를 통해 시계열을 이미지로 변환하는 방법을 설명한다.
• 스택된 LSTM 아키텍처와 Gaussian 기반 확률 점수화를 이용한 이상 탐지에 대해 논의한다.
• 예측 및 거래 유사 데이터셋에서 UFCNN과 RNN/LSTM 베이스라인을 비교한 사례를 제시한다.

실험 결과

연구 질문

• RQ1 시계열 데이터의 시간 의존성을 모델링하는 데 어떤 딥러닝 아키텍처가 효과적인가?
• RQ2 이미지 기반 표현(GAF/MTF)이 CNN 기반 시계열 분류를 어떻게 가능하게 하는가?
• RQ3 UFCNN과 같은 특수 아키텍처가 전통적인 RNN/LSTM에 비해 예측 및 이상 탐지를 개선할 수 있는가?
• RQ4 다양한 도메인에서 시계열 이상 탐지와 예측에 있어 딥러닝 방법의 역할은 무엇인가?
• RQ5 시계열 작업에서 딥러닝 방식은 전통적인 특징 엔지니어링 방식과 어떻게 비교되는가?

주요 결과

• UFCNN은 여러 시계열 예측 작업에서 RNN 및 LSTM보다 우수한 성능을 보일 수 있다.
• CNN 기반 분류가 어려운 데이터셋에서 시계열을 이미지로 변환하는 표현(GAF/MTF)을 이용한 성능이 경쟁력 있다.
• 시계열을 다중 채널 이미지로 변환하는 것은 타일된 CNN을 분류에 효과적으로 활용할 수 있게 한다.
• 스택된 LSTM 아키텍처는 장기 의존성을 모델링하고 다변량 확률를 추정함으로써 이상 탐지를 개선한다.
• 전통적인 방법에 비해 모델링, 분류, 이상 탐지 작업 전반에서 딥러닝 접근법이 가능성을 보인다.