[論文レビュー] Representation Learning with Deconvolution for Multivariate Time Series Classification and Visualization

Zhiguang Wang, Wei Song+6 more|arXiv (Cornell University)|Oct 24, 2016

Time Series Analysis and Forecasting参考文献 18被引用数 10

ひとこと要約

本稿では、多変量時系列における自己教師あり表現学習のため、記号的平均近似（SAX）離散化を組み合わせたデコンボリューションニューラルネットワークを提案する。クロスチャネル相関を捉え、特徴量をSAX語のbag of words表現に変換することで、分類精度が向上し、時系列をクラス固有の複雑ネットワークとして可視化可能となる。ベンチマークデータセットにおいて、距離ベースのベースラインを上回る性能を発揮した。

ABSTRACT

We propose a new model based on the deconvolutional networks and SAX discretization to learn the representation for multivariate time series. Deconvolutional networks fully exploit the advantage the powerful expressiveness of deep neural networks in the manner of unsupervised learning. We design a network structure specifically to capture the cross-channel correlation with deconvolution, forcing the pooling operation to perform the dimension reduction along each position in the individual channel. Discretization based on Symbolic Aggregate Approximation is applied on the feature vectors to further extract the bag of features. We show how this representation and bag of features helps on classification. A full comparison with the sequence distance based approach is provided to demonstrate the effectiveness of our approach on the standard datasets. We further build the Markov matrix from the discretized representation from the deconvolution to visualize the time series as complex networks, which show more class-specific statistical properties and clear structures with respect to different labels.

研究の動機と目的

• 大規模な多変量時系列データから、完全な教師なし条件下でも効果的で階層的な表現を学習する課題に取り組む。
• 多変量系列におけるクロスチャネル相関と時系列依存性を捉えることで、分類性能を向上させる。
• マーカフ行列を用いて学習された特徴量を複雑ネットワークに変換することで、時系列の解釈可能な可視化を可能にする。
• 計算コストの高さやノイズへの感受性といった距離ベース手法の限界を、エンドツーエンドの特徴量学習によって克服する。
• 手作業による特徴量設計やハイパーパramータチューニングに依存しない自己教師ありで自動化されたアプローチを提供する。

提案手法

• 生の多変量時系列から階層的表現を学習するため、チャネルごとに独立してプーリングを適用することで空間的構造を保持するデコンボリューションネットワークアーキテクチャを設計した。
• 特徴量学習中にチャネル間依存性をモデル化するため、畳み込み演算を用いてクロスチャネル相関を捉えた。
• 学習済み特徴マップを記号的平均近似（SAX）を用いて離散化し、分類に適したbag-of-words表現を形成した。
• bag-of-SAX-words表現を教師あり分類器の入力として用いることで、一般化性能の向上とノイズへの感受性の低減を実現した。
• 離散化された表現からマーカフ行列を構築し、時系列をクラス固有のトポロジカル構造を示す複雑ネットワークとして可視化した。
• ハイパーパramータチューニングを効率的に行うために、ベイズ最適化を用いた。

実験結果

リサーチクエスチョン

• RQ1 デコンボリューションネットワークは、自己教師ありの枠組みで、多変量時系列から階層的かつクロスチャネル表現を効果的に学習できるか？
• RQ2 bag-of-SAX-words表現は、生の特徴ベクトルと比較して、分類精度とロバスト性において優れているか？
• RQ3 離散化された表現は、異なるクラスに固有の構造的パターンを明らかにする複雑ネットワークとして効果的に可視化できるか？
• RQ4 本手法は、ERP や TWED といった従来のシーケンス距離ベースのアプローチを、標準的な多変量時系列ベンチマークでどの程度上回るか？
• RQ5 マーカフネットワーク可視化の統計的特性（例：モジュラリティ、平均パス長）は、正常時系列と異常時系列でどのように異なるか？

主な発見

• bag-of-SAX-words表現は、生の特徴ベクトルよりも低いテスト誤差率を達成した。ECGデータセットでは0.2のテスト誤差、Waferデータセットでは0.035を記録したのに対し、ベクトルベースラインはそれぞれ0.13と0.011であった。
• ECGデータセットでは、平均次数、モジュラリティ、PageRankインデックス、平均パス長の4つのネットワーク統計量が、正常と異常クラスで有意に異なる（p < 0.05）。
• Waferデータセットでは、ラベル間で有意差を示したのは平均パス長のみであり、エッジ重みの偏りがトポロジカル感度に影響している可能性を示唆した。
• マーカフネットワークの可視化により、明確な構造的パターンが明らかになった：正常ECGサンプルは円形に近いレイアウトを示し、異常サンプルは細くねじれた形状を示した。
• Waferの正常サンプルは規則的な閉じた構造を示したが、異常サンプルは開放的で境界を突き抜ける構造的特徴を示し、より太いエッジを持つネットワークを形成した。
• 距離ベースのベースラインを上回る優れた性能を示し、フルパイプラインが標準ベンチマークで最先端の結果を達成した。