[論文レビュー] TimeNet: Pre-trained deep recurrent neural network for time series classification

Pankaj Malhotra, Vishnu Tv+3 more|arXiv (Cornell University)|Jun 23, 2017

Time Series Analysis and Forecasting参考文献 21被引用数 113

ひとこと要約

TimeNet は varying-length time series から固定長の embeddings を生成する未監督のシーケンスオートエンコーダをトレーニングし、エンコーダを time series classification のための汎用の既製の特徴抽出器として利用する。多くの UCR データセットでドメイン固有のエンコーダや DTW ベースの方法を上回る。

ABSTRACT

Inspired by the tremendous success of deep Convolutional Neural Networks as generic feature extractors for images, we propose TimeNet: a deep recurrent neural network (RNN) trained on diverse time series in an unsupervised manner using sequence to sequence (seq2seq) models to extract features from time series. Rather than relying on data from the problem domain, TimeNet attempts to generalize time series representation across domains by ingesting time series from several domains simultaneously. Once trained, TimeNet can be used as a generic off-the-shelf feature extractor for time series. The representations or embeddings given by a pre-trained TimeNet are found to be useful for time series classification (TSC). For several publicly available datasets from UCR TSC Archive and an industrial telematics sensor data from vehicles, we observe that a classifier learned over the TimeNet embeddings yields significantly better performance compared to (i) a classifier learned over the embeddings given by a domain-specific RNN, as well as (ii) a nearest neighbor classifier based on Dynamic Time Warping.

研究の動機と目的

• 時系列の汎用でラベルなしの表現を、オフ・ザ・シェルフ機能として学習させる動機付け。
• TimeNet として多層 GRU エンコーダを備えたシーケンスツーシーケンスオートエンコーダを提案する。
• TimeNet の埋め込みが、ドメイン特化型エンコーダや DTW ベースの方法より分類性能を向上させることを示す。
• 可視化（t-SNE）を通じてロバスト性とよく分離された埋め込みを示す。
• 多様な UCR データセットと産業用テレマティクスデータセットに対する性能を評価する。

提案手法

• 多層の GRU とドロップアウトを用いたシーケンスツーシーケンスオートエンコーダを使用して時系列をエンコードする。
• 18 のトレーニングデータセットから多様なラベルなし時系列を訓練して、エンコーダの最終状態から固定次元の埋め込みを学習する（T ≤ 512）。
• 学習済みエンコーダを固定化して TimeNet を形成し、汎用的な時系列特徴抽出器とする。
• TimeNet の埋め込み（TN-C）を、ドメイン特化型 SAE エンコーダ（SAE-C）と、DTW ベースの最近傍分類器（DTW-C）と比較する。
• 埋め込み上で RBF カーネルを用いた非線形 SVM を訓練する。
• t-SNE 可視化で埋め込みの品質を分析する。

実験結果

リサーチクエスチョン

• RQ1 多様なラベルなし時系列で訓練された多層 RNN は、汎用的な時系列特徴抽出器として機能し得るか。
• RQ2 TimeNet の埋め込みは、見たことのないデータセットでドメイン特化型エンコーダや DTW ベースの分類器を上回るか。
• RQ3 ラベル付きデータが乏しい場合に TimeNet の埋め込みは堅牢か。
• RQ4 TimeNet の埋め込みはデータセット間・データセット内でよく分離されたクラスタを形成するか。

主な発見

データセット	T	DTW-C	SAE-C	TN-C
Industrial Multivariate	30	-	0.221	0.173
Synthetic Control	60	0.017	0.017	0.013
PhalangesOutlinesCorrect	80	0.239	0.228	0.207
DistalPhalanxOutlineAgeGroup*	80	0.228	0.160	0.223
DistalPhalanxOutlineCorrect*	80	0.232	0.187	0.188
DistalPhalanxTW*	80	0.272	0.243	0.208
MiddlePhalanxOutlineAgeGroup*	80	0.253	0.348	0.210
MiddlePhalanxOutlineCorrect*	80	0.318	0.307	0.270
MiddlePhalanxTW*	80	0.419	0.381	0.363
ProximalPhalanxOutlineAgeGroup*	80	0.215	0.137	0.146
ProximalPhalanxOutlineCorrect*	80	0.210	0.179	0.175
ProximalPhalanxTW*	80	0.263	0.188	0.195
ElectricDevices	96	0.376	0.335	0.267
MedicalImages	99	0.253	0.247	0.250
SwedishLeaf	128	0.157	0.099	0.102
TwoPatterns	128	0.002	0.001	0.000
ECG5000	140	0.075	0.066	0.069
ECGFiveDays*	136	0.203	0.063	0.074
Wafer	152	0.005	0.006	0.005
ChlorineConcentration	166	0.35	0.277	0.269
Adiac	176	0.391	0.435	0.322
Strawberry	235	0.062	0.070	0.062
Cricket_X	300	0.236	0.341	0.300
Cricket_Y*	300	0.197	0.397	0.338
Cricket_Z*	300	0.180	0.305	0.308
uWaveGestureLibrary_X	315	0.227	0.211	0.214
uWaveGestureLibrary_Y*	315	0.301	0.291	0.311
uWaveGestureLibrary_Z*	315	0.322	0.280	0.281
Yoga	426	0.155	0.174	0.160
FordA	500	0.341	0.284	0.219
FordB	500	0.414	0.405	0.263

• TimeNet の埋め込みは、テストデータセットの83%でドメイン特化型 SAE 埋め込みと同等かそれ以上の分類性能を示し、DTW-C をも83%で上回る。
• TimeNet 分類器は DTW-C を 25/30 データセットで上回り、SAE-C を 22/30 データセットで超え、TimeNet は SAE-C を 18/30 データセットでも上回る。
• ラベル付きデータの3分の2 を用いても、TN-C は DTW-C を 20/30 データセットで上回り、監視が減ってもロバストであることを示す。
• t-SNE の可視化で、TimeNet の埋め込みは異なるクラスやドメインからの時系列のよく分離されたクラスタを示す。
• 層の分析では、短い時系列は単一の Timenet 層に依存する可能性があり、長いシーケンスは層をまたぐ情報の恩恵を受ける。