[論文レビュー] Autoencoder-based time series clustering with energy applications

Guillaume Richard, Benoît Grossin+3 more|arXiv (Cornell University)|Feb 10, 2020

Time Series Analysis and Forecasting参考文献 8被引用数 10

ひとこと要約

本稿では、特徴抽出に畳み込み自己符号化器（CAE）を用い、k-medoidsクラスタリングを組み合わせた2段階の時系列クラスタリング手法を提案する。従来のPCA やウェーブレット手法と比較して、外れ値に対して優れたロバスト性と、合成データおよび実際のエネルギー消費データにおけるより明確なクラスタ分離を示している。

ABSTRACT

Time series clustering is a challenging task due to the specific nature of the data. Classical approaches do not perform well and need to be adapted either through a new distance measure or a data transformation. In this paper we investigate the combination of a convolutional autoencoder and a k-medoids algorithm to perfom time series clustering. The convolutional autoencoder allows to extract meaningful features and reduce the dimension of the data, leading to an improvement of the subsequent clustering. Using simulation and energy related data to validate the approach, experimental results show that the clustering is robust to outliers thus leading to finer clusters than with standard methods.

研究の動機と目的

• 高次元でノイズが多く、外れ値に左右されやすい時系列データのクラスタリングという課題に対処すること。
• 畳み込み自己符号化器を用いて意味のある低次元表現を学習することで、クラスタリング性能を向上させること。
• 外れ値を複数のグループに分散させず、別個のクラスタとして明確に分離するロバストなクラスタリングを可能にすること。
• 住宅用、中小企業（SME）、外れ値クライアントからの実世界のエネルギー消費データを用いて、手法の妥当性を検証すること。
• クラシカルな手法（PCA やウェーブレットなど）と比較して、CAEを用いた特徴抽出がクラスタリング精度と外れ値耐性において優れていることを示すこと。

提案手法

• 2段階のアプローチ：まず畳み込み自己符号化器を訓練して時系列データを低次元の潜在空間に圧縮し、その後、潜在表現に対してk-medoidsクラスタリングを適用する。
• エンコーダーは、入力時系列 $x \in \mathbb{R}^T$ を $m < T$ の潜在ベクトル $h \in \mathbb{R}^m$ にマッピングする複数の畳み込み層および全結合層を含む。
• デコーダーは、畳み込み層を用いて潜在ベクトルから元の時系列を再構築し、再構築損失 $\mathcal{L}(x, \hat{x})$ を最小化する。
• 畳み込み層の局所的受容 field と重み共有のおかげで、形状に依存しない、ノイズに強い特徴が潜在ベクトルに捉えられる。
• 外れ値は局所的外れ値要因（LOF）指標を用いて特定され、LOFスコアの95百分位数に基づき、データセット全体の5%が外れ値と定義される。
• クラスタリングには、外れ値に対してロバストで、解釈可能なクラスタ重心を提供するk-medoidsが用いられる。

実験結果

リサーチクエスチョン

• RQ1 畳み込み自己符号化器は、時系列データから意味のある低次元表現を効果的に抽出できるか？
• RQ2 提案手法（CAEベース）のクラスタリング性能は、古典的手法（PCA やウェーブレットなど）と比較して外れ値の影響をどのように受けるか？
• RQ3 本手法は、外れ値を複数のクラスタに分散させず、単一の明確なクラスタに分離できるか？
• RQ4 実際のエネルギー消費データにおいて、本手法は解釈可能で細分化されたクラスタを生成できるか？
• RQ5 CAEはPCA やウェーブレット、その他の古典的手法と比較して、クラスタリング精度と耐性においてどのように優れているか？

主な発見

• CAE + k-medoids手法は、合成データにおいて住宅、SME、外れ値の3クラスを完璧に分離し、3グループ間で誤分類が一切発生しなかった。
• PCAは住宅およびSMEクライアントを分離できたが、外れ値はクラスタに散らばり、明確に分離されなかった。
• 他の手法（ウェーブレットやDWTなど）は外れ値クラスを分離できず、一方の主要クラスタが2つのクラスタに分裂していた。
• 実際のCERスマートメーターのデータにおいて、LOFを用いて特定された5%のデータが、明確に分離された高分散外れ値クラスタを形成した。
• 残りのデータは10～16の意味のあるグループにクラスタリングされ、重心には冬のピークやクリスマスのスパイクといった明確な行動パターンが現れた。
• 古典的手法の特徴抽出と組み合わせたK-means やSOMと比較して、本手法は優れた性能を示しており、CAEが関連する時間的パターンを的確に捉えられることを示している。