[論文レビュー] Clustering Time Series Data through Autoencoder-based Deep Learning Models

Neda Tavakoli, Sima Siami‐Namini+3 more|arXiv (Cornell University)|Apr 11, 2020

Time Series Analysis and Forecasting参考文献 41被引用数 12

ひとこと要約

本論文では、最初にKMeansクラスタリングにより擬似ラベルを生成し、その後自己符号化器を用いて観測可能な特徴と隠れ特徴の両方を学習する2段階のディープラーニング手法を提案する。この手法により、未学習の金融時系列データのクラスターラベル予測で87.5％の精度を達成し、従来のKMeansを上回った。これは、従来の距離ベースの手法が捉えられなかった潜在的なパターンを捉えられることを示している。

ABSTRACT

Machine learning and in particular deep learning algorithms are the emerging approaches to data analysis. These techniques have transformed traditional data mining-based analysis radically into a learning-based model in which existing data sets along with their cluster labels (i.e., train set) are learned to build a supervised learning model and predict the cluster labels of unseen data (i.e., test set). In particular, deep learning techniques are capable of capturing and learning hidden features in a given data sets and thus building a more accurate prediction model for clustering and labeling problem. However, the major problem is that time series data are often unlabeled and thus supervised learning-based deep learning algorithms cannot be directly adapted to solve the clustering problems for these special and complex types of data sets. To address this problem, this paper introduces a two-stage method for clustering time series data. First, a novel technique is introduced to utilize the characteristics (e.g., volatility) of given time series data in order to create labels and thus be able to transform the problem from unsupervised learning into supervised learning. Second, an autoencoder-based deep learning model is built to learn and model both known and hidden features of time series data along with their created labels to predict the labels of unseen time series data. The paper reports a case study in which financial and stock time series data of selected 70 stock indices are clustered into distinct groups using the introduced two-stage procedure. The results show that the proposed procedure is capable of achieving 87.5\% accuracy in clustering and predicting the labels for unseen time series data.

研究の動機と目的

• 従来の非教師あり手法が、隠れたり複雑な特徴のため困難をきたす未ラベル時系列データのクラスタリングという課題に対処すること。
• 教師ありディープラーニングモデルがラベル付きデータを必要とするという制限を克服するため、KMeansクラスタリングから擬似ラベルを生成すること。
• 時系列データの既知の特徴と隠れ特徴の両方を学習できるディープラーニングモデルを構築し、クラスタリング性能を向上させること。
• 特に株価インデックスを含む実世界の金融時系列データに対して、提案手法の有効性を評価すること。
• ディープラーニングモデルが、KMeansのような従来のクラスタリングアルゴリズムよりも非線形で隠れたパターンを捉えることで、優れた性能を発揮できることを示すこと。

提案手法

• まず、ボラティリティとリターンの値から導出される特徴ベクトルを用いて、KMeansクラスタリングを時系列データに適用し、擬似ラベルを生成する。
• これらの擬似ラベルにより、非教師ありクラスタリング問題が教師あり学習問題に変換される。
• ラベル付き時系列データ上でエンコーダ・デコーダ構造の自己符号化器アーキテクチャを訓練し、既知の特徴と隠れ特徴の両方を捉える低次元表現を学習する。
• 自己符号化器は、入力時系列データの再構成を学ぶと同時に、クラスタリングに役立つコンactな潜在表現も学習する。
• 訓練されたモデルは、学習済みの表現に基づいて、未観測の時系列データのクラスターラベルを予測する。
• この手法は、従来の距離ベースのクラスタリング手法が見逃す可能性のある、データ内の複雑で非線形な関係をディープラーニングが捉える能力を活用している。

実験結果

リサーチクエスチョン

• RQ1 2段階のディープラーニングフレームワークは、非教師あり学習を教師あり学習に変換することで、未ラベル時系列データのクラスタリングを効果的に可能にするか？
• RQ2 自己符号化器ベースのモデルは、ユークリッド距離のような従来のクラスタリング指標が捉えられない時系列データの隠れ特徴をどの程度学習できるか？
• RQ3 提案された自己符号化器ベースのクラスタリングモデルの性能は、金融時系列データにおいて従来のKMeansクラスタリングと比べてどうか？
• RQ4 モデルは未観測の時系列データに対しても高い精度でクラスターラベルを予測できるか？
• RQ5 自己符号化器が学習する潜在特徴は、ボラティリティやリターンといった観測可能な特徴を超えて、クラスタリング品質をどのように向上させるか？

主な発見

• 提案された2段階手法は、未学習の金融時系列データのクラスターラベル予測で87.5％の精度を達成した。
• 自己符号化器ベースのモデルは従来のKMeansクラスタリングを上回った。これは、距離ベースの手法が捉えられなかった追加の潜在パターンを捉えられていたことを示している。
• アマゾン（AMZN）、APA、アルクサニオン（ALXN）などの株価インデックスは、KMeansクラスタリングにおいてクラスタ境界に位置することが判明し、より深いモデルがその曖昧な配置を解消できる可能性を示している。
• 自己符号化器が隠れ特徴を検出できる能力が、KMeansがボラティリティやリターンといった事前定義された特徴に依存するのに対し、より洗練されたクラスタリングインサイトを提供できた理由を説明している。
• 結果から、ディープラーニングモデルは、従来の統計的・クラスタリング手法が見逃す複雑で非線形な関係を効果的にモデル化できることを示している。
• 本研究は、限られたラベル付きデータしか入手できない状況でも、クラスタリングによるクラスタリングで擬似ラベルを生成することで、教師ありディープラーニング手法を時系列クラスタリングに効果的に適用できることを示している。