[논문 리뷰] Clustering Time Series Data through Autoencoder-based Deep Learning Models

Neda Tavakoli, Sima Siami‐Namini외 3명|arXiv (Cornell University)|2020. 04. 11.

Time Series Analysis and Forecasting참고 문헌 41인용 수 12

한 줄 요약

이 논문은 먼저 KMeans 군집화를 통해 가짜 레이블을 생성한 후, 관측 가능하고 숨겨진 특징을 모두 학습하는 자동에코를 훈련시켜 개선된 군집화를 위한 이단계적 딥러닝 접근법을 제안한다. 이 방법은 새로운 금융 시계열 데이터의 군집 레이블을 예측할 때 87.5%의 정확도를 달성하며, 전통적인 거리 기반 방법이 간과하는 잠재 패턴을 포착함으로써 기존 KMeans를 능가한다.

ABSTRACT

Machine learning and in particular deep learning algorithms are the emerging approaches to data analysis. These techniques have transformed traditional data mining-based analysis radically into a learning-based model in which existing data sets along with their cluster labels (i.e., train set) are learned to build a supervised learning model and predict the cluster labels of unseen data (i.e., test set). In particular, deep learning techniques are capable of capturing and learning hidden features in a given data sets and thus building a more accurate prediction model for clustering and labeling problem. However, the major problem is that time series data are often unlabeled and thus supervised learning-based deep learning algorithms cannot be directly adapted to solve the clustering problems for these special and complex types of data sets. To address this problem, this paper introduces a two-stage method for clustering time series data. First, a novel technique is introduced to utilize the characteristics (e.g., volatility) of given time series data in order to create labels and thus be able to transform the problem from unsupervised learning into supervised learning. Second, an autoencoder-based deep learning model is built to learn and model both known and hidden features of time series data along with their created labels to predict the labels of unseen time series data. The paper reports a case study in which financial and stock time series data of selected 70 stock indices are clustered into distinct groups using the introduced two-stage procedure. The results show that the proposed procedure is capable of achieving 87.5\% accuracy in clustering and predicting the labels for unseen time series data.

연구 동기 및 목표

• 숨겨진 복잡한 특징으로 인해 기존 비지도 학습 방법이 어려움을 겪는 레이블이 없는 시계열 데이터 군집화 문제를 해결하기 위해.
• 레이블이 필요한 지도 학습 모델의 한계를 극복하기 위해 KMeans 군집화로부터 가짜 레이블을 생성함으로써.
• 시계열 데이터의 알려진 특징과 숨겨진 특징을 모두 학습할 수 있는 딥러닝 모델을 개발하여 군집화 성능을 향상시키기 위해.
• 특히 주식 지수를 포함한 실제 금융 시계열 데이터에 대해 제안된 방법의 효과성을 평가하기 위해.
• 딥러닝 모델이 기존 KMeans와 같은 전통적 군집화 알고리즘을 능가할 수 있음을 입증하기 위해, 비선형이고 숨겨진 패턴을 포착할 수 있음을 보여주기 위해.

제안 방법

• 먼저, 변동성과 수익률 값에서 유도된 특징 벡터를 사용하여 KMeans 군집화를 시계열 데이터에 적용하여 가짜 레이블을 생성한다.
• 이러한 가짜 레이블은 비지도 군집화 문제를 지도 학습 과제로 변환한다.
• 레이블이 부여된 시계열 데이터를 기반으로 인코더-디코더 아키텍처의 자동에코를 훈련시어, 알려진 특징과 숨겨진 특징을 모두 포착하는 저차원 표현을 학습한다.
• 자기에코는 입력 시계열을 재구성하는 同시에 군집화에 관련된 패턴을 코딩하는 압축된 잠재 표현을 학습한다.
• 훈련된 모델은 학습된 표현을 기반으로 새로운 시계열 데이터의 군집 레이블을 예측한다.
• 이 방법은 기존의 거리 기반 군집화 방법이 간과할 수 있는 데이터 내 복잡하고 비선형적인 관계를 탐지할 수 있는 딥러닝의 능력을 활용한다.

실험 결과

연구 질문

• RQ1 비지도 학습을 지도 학습 과제로 변환함으로써 이단계적 딥러닝 프레임워크가 레이블이 없는 시계열 데이터를 효과적으로 군집화할 수 있는가?
• RQ2 자기에코 기반 모델이 유럽 거리와 같은 전통적 군집화 지표가 포착하지 못하는 시계열 데이터의 숨겨진 특징을 어느 정도 학습할 수 있는가?
• RQ3 제안된 자기에코 기반 군집화 모델의 성능은 금융 시계열 데이터에서 기존 KMeans 군집화와 비교해 어떻게 되는가?
• RQ4 모델은 새로운 시계열 데이터에 대해 높은 정확도로 군집 예측을 일반화할 수 있는가?
• RQ5 자기에코가 학습한 잠재 특징이 변동성과 수익률과 같은 관측 가능한 특징을 초월해 군집 품질을 향상시키는 데 어떤 역할을 하는가?

주요 결과

• 제안된 이단계적 방법은 새로운 금융 시계열 데이터의 군집 레이블 예측에 대해 87.5%의 정확도를 달성했다.
• 자기에코 기반 모델은 기존 KMeans 군집화를 능가했으며, 이는 거리 기반 방법이 감지하지 못한 추가적인 잠재 패턴을 포착했음을 시사한다.
• 아마존(AMZN), APA, 알렉스엔드라(ALEXN)와 같은 주식 지수들은 KMeans 군집화에서 군집 경계에 위치해 있어, 이들의 모호한 배치는 더 깊이 있는 모델에 의해 해결될 수 있음을 시사한다.
• 자기에코가 숨겨진 특징을 탐지할 수 있었기에 KMeans와 비교해 더 세밀한 군집화 통찰을 제공했으며, KMeans는 오직 변동성과 수익률과 같은 사전 정의된 특징에 의존한다.
• 결과적으로 딥러닝 모델이 기존 통계적 및 군집화 기법이 간과하는 비선형적이고 복잡한 관계를 효과적으로 모델링할 수 있음을 시사한다.
• 제한된 레이블이 있는 데이터 조건에서도 KMeans 군집화를 통해 가짜 레이블을 생성함으로써 지도 학습 기반 접근법을 시계열 군집화에 효과적으로 적용할 수 있음을 입증한다.