[論文レビュー] Reservoir computing approaches for representation and classification of multivariate time series

Filippo Maria Bianchi, Simone Scardapane+2 more|arXiv (Cornell University)|Mar 21, 2018

Neural Networks and Reservoir Computing被引用数 4

ひとこと要約

本論文は、多変量時系列（MTS）分類のためのリザボアモデル空間表現を、リザボアコンピューティング（RC）を用いて提案する。MTSは、将来の入力を予測するのではなく、将来のリザボア状態を予測するモデルのパラメータを介して符号化される。この手法は、低次元埋め込みを特徴とするテンソル-PCAの変種を用いてリザボアダイナミクスを効率的かつ正則化された表現学習にすることで、深層学習モデルと比較して著しく高速なトレーニングを実現しながら、最先端の精度を達成する。

ABSTRACT

Classification of multivariate time series (MTS) has been tackled with a large variety of methodologies and applied to a wide range of scenarios. Reservoir Computing (RC) provides efficient tools to generate a vectorial, fixed-size representation of the MTS that can be further processed by standard classifiers. Despite their unrivaled training speed, MTS classifiers based on a standard RC architecture fail to achieve the same accuracy of fully trainable neural networks. In this paper we introduce the reservoir model space, an unsupervised approach based on RC to learn vectorial representations of MTS. Each MTS is encoded within the parameters of a linear model trained to predict a low-dimensional embedding of the reservoir dynamics. Compared to other RC methods, our model space yields better representations and attains comparable computational performance, thanks to an intermediate dimensionality reduction procedure. As a second contribution we propose a modular RC framework for MTS classification, with an associated open-source Python library. The framework provides different modules to seamlessly implement advanced RC architectures. The architectures are compared to other MTS classifiers, including deep learning models and time series kernels. Results obtained on benchmark and real-world MTS datasets show that RC classifiers are dramatically faster and, when implemented using our proposed representation, also achieve superior classification accuracy.

研究の動機と目的

• 標準的なRCベースのMTS分類器の精度の欠如というギャップに対処する。
• 将来の入力を予測することに焦点を当てた従来のモデルスペース手法の制限を克服する。これらの手法は、重要なダイナミクス的情報を逃す可能性がある。
• 将来のリザボア状態をモデル化することで、MTSの背後にある完全なダイナミカルシステムを捉える表現を開発する。
• オープンソースのPython対応を備えた統合的かつモジュラーなRCフレームワークを設計する。
• 提案された表現が、RC分類器が深層学習モデルと同等またはそれを上回る精度を達成しながらも、トレーニング速度の利点を維持できることを実証する。

提案手法

• 1ステップ先の予測器が次のリザボア状態を予測するのではなく、次の入力を予測するのではなく、将来のリザボア状態を予測するパラメータから得られる表現であるリザボアモデルスペースを導入する。
• 時系列ステップとデータサンプルの両方における変動を分離するために、変更されたテンソルベースのPCAを適用して、リザボア状態シーケンスの次元を削減する。
• リザボアダイナミクスの低次元埋め込みを線形分類器の入力として使用することで、効率的かつ正則化された表現学習を実現する。
• リザボアアーキテクチャ、次元削減、表現手法、出力分類器という4つの独立したモジュールからなるモジュラーなRCフレームワークを設計する。
• 提案されたフレームワークを用いて、双方向リザボアやディープリーデアウトを含む複数のRCアーキテクチャを実装・評価する。
• 埋め込み済みのリザボアダイナミクス上で予測モデルを教師なしでトレーニングし、固定サイズかつ情報豊富な表現を生成する。

実験結果

リサーチクエスチョン

• RQ1 将来の入力を予測するのではなく、将来のリザボア状態を予測することで、MTS分類に向けたより情報豊かな表現が得られるか？
• RQ2 提案されたリザボアモデルスペース表現は、標準的なRCおよびモデルスペースベースラインと比較して分類精度を向上させるか？
• RQ3 リザボアダイナミクスの次元削減は、RCベースのMTS分類器における計算効率性および一般化性能をどの程度向上させるか？
• RQ4 高度なRCアーキテクチャ（例：双方向リザボア、ディープリーデアウト）は、提案された表現とどのように相互作用し、精度と速度に影響を与えるか？
• RQ5 本手法は、多変数データを想定して設計されているが、単変数時系列分類においても競争力のある性能を達成できるか？

主な発見

• 将来のリザボア状態を予測するモデルに基づくリザボアモデルスペース表現は、将来の入力を予測する標準的なモデルスペース手法と比較して、はるかに情報豊かな特徴を生成する。
• ベンチマークMTSデータセットにおいて、提案手法は最先端の分類精度を達成しており、UCR-UEAおよびItalyPowerを含む複数のデータセットで平均F1スコアが95％を超える。
• 深層学習ベースラインと比較して著しく高速であり、トレーニング時間は数秒で、例えばrmESNモデルはほとんどのデータセットで10秒未塔でトレーニング可能。
• テンソル-PCAを用いた次元削減により、メモリ使用量が削減され、特に複雑な判別的分類器と組み合わせた場合の過学習を防止する。
• 単変数時系列に対しても、提案されたRC分類器（rmESNにモデルスペースを適用）は、平均的にLSTM-FCNなどの複雑な深層学習モデルと同等またはそれを上回る精度を達成する。
• リザボアモデルスペースと組み合わせた場合、双方向リザボアやディープリーデアウトの導入による精度向上はわずかであり、表現自体がすでに非常に情報豊かであることを示している。