[논문 리뷰] TimeNet: Pre-trained deep recurrent neural network for time series classification

Pankaj Malhotra, Vishnu Tv외 3명|arXiv (Cornell University)|2017. 06. 23.

Time Series Analysis and Forecasting참고 문헌 21인용 수 113

한 줄 요약

TimeNet은 가변 길이 시계열로부터 고정 길이 임베딩을 생성하기 위해 비지도 순차 자동인코더를 학습하고, 인코더를 시계열 분류를 위한 일반적인 범용 특징 추출기로 사용하며, 다수의 UCR 데이터세트에서 도메인 특화 인코더와 DTW 기반 방법보다 성능이 우수합니다.

ABSTRACT

Inspired by the tremendous success of deep Convolutional Neural Networks as generic feature extractors for images, we propose TimeNet: a deep recurrent neural network (RNN) trained on diverse time series in an unsupervised manner using sequence to sequence (seq2seq) models to extract features from time series. Rather than relying on data from the problem domain, TimeNet attempts to generalize time series representation across domains by ingesting time series from several domains simultaneously. Once trained, TimeNet can be used as a generic off-the-shelf feature extractor for time series. The representations or embeddings given by a pre-trained TimeNet are found to be useful for time series classification (TSC). For several publicly available datasets from UCR TSC Archive and an industrial telematics sensor data from vehicles, we observe that a classifier learned over the TimeNet embeddings yields significantly better performance compared to (i) a classifier learned over the embeddings given by a domain-specific RNN, as well as (ii) a nearest neighbor classifier based on Dynamic Time Warping.

연구 동기 및 목표

• 시계열의 범용적이고 라벨이 없는 표현을 기성품 특징으로 학습하도록 동기를 부여한다.
• 다층 GRU 인코더를 가진 시퀀스-투-시퀀스 자동인코더를 TimeNet으로 제안한다.
• TimeNet 임베딩이 도메인 특화 인코더 및 DTW 기반 방법보다 분류 성능을 향상시킨다는 것을 보인다.
• 시각화(t-SNE)를 통해 강건성과 잘 분리된 임베딩을 입증한다.
• 다양한 UCR 데이터세트와 산업용 텔레매틱스 데이터세트에 걸쳐 성능을 평가한다.

제안 방법

• 다층 GRU와 드롭아웃을 갖는 시퀀스-투-시퀀스 자동인코더를 사용하여 시계열을 인코딩한다.
• 18개의 학습 데이터셋(T ≤ 512)에서 다양한 비라벨 시계열을 학습시켜 인코더의 최종 상태로부터 고정 차원의 임베딩을 학습한다.
• 학습된 인코더를 고정시켜 TimeNet(일반적인 시계열 특징 추출기)을 형성한다.
• TimeNet(TN-C)의 임베딩을 도메인 특화 SAE 인코더(SAE-C)의 임베딩 및 DTW 기반 최근접 이웃 분류기(DTW-C)와 비교한다.
• 임베딩에 대해 RBF 커널을 가진 비선형 SVM을 학습시킨다.
• t-SNE 시각화를 통해 임베딩 품질을 분석한다.

실험 결과

연구 질문

• RQ1 다층 RNN이 다양한 비라벨 시계열에서 일반적인 시계열 특징 추출기로 작동할 수 있는가?
• RQ2 TimeNet의 임베딩이 보지 못한 데이터셋에서 도메인 특화 인코더와 DTW 기반 분류기보다 성능이 우수한가?
• RQ3 라벨링 데이터가 희소할 때 TimeNet 임베딩은 강건한가?
• RQ4 TimeNet 임베딩은 데이터셋 간 및 데이터셋 내에서 잘 구분된 군집을 형성하는가?

주요 결과

• TimeNet 임베딩은 테스트 데이터셋의 83%에서 도메인 특화 SAE 임베딩보다 경쟁력 있거나 더 낫고, 83%에서도 DTW-C를 능가한다.
• TimeNet 분류기가 DTW-C를 30개 데이터셋 중 25개에서 능가하고 SAE-C를 22개 데이터셋에서 능가하며, TimeNet은 SAE-C를 18개 데이터셋에서도 능가한다.
• 표본 데이터의 3분의 2로 학습하더라도 TN-C는 20/30 데이터셋에서 DTW-C를 이겨, 레이블링이 축소되어도 강건함을 시사한다.
• t-SNE 시각화에서 TimeNet의 임베딩은 서로 다른 클래스 및 도메인의 시계열에 대해 잘 분리된 군집을 보인다.
• 레이어 분석에 따르면 짧은 시계열은 단일 Timenet 레이어에 의존하는 반면, 긴 시퀀스는 다층 간 정보의 이점을 얻는다.