[論文レビュー] Grouped Convolutional Neural Networks for Multivariate Time Series

Subin Yi, Janghoon Ju+2 more|arXiv (Cornell University)|Mar 29, 2017

Time Series Analysis and Forecasting参考文献 26被引用数 31

ひとこと要約

本論文は、共分散構造を用いて多次元時系列を相関するグループに分割することで、効率的でパラメータ共有型の学習を可能にするグループ化畳み込みニューラルネットワーク（G-CNN）を提案する。明示的なクラスタリング（スペクトルクラスタリング）または逆誤差伝搬を用いた暗黙的なグループ化の両方により、地下水およびドローンセンサーのデータセットにおいて、標準的なCNNおよびRCNNを上回り、最大23%低いSRMSEを達成する。

ABSTRACT

Analyzing multivariate time series data is important for many applications such as automated control, fault diagnosis and anomaly detection. One of the key challenges is to learn latent features automatically from dynamically changing multivariate input. In visual recognition tasks, convolutional neural networks (CNNs) have been successful to learn generalized feature extractors with shared parameters over the spatial domain. However, when high-dimensional multivariate time series is given, designing an appropriate CNN model structure becomes challenging because the kernels may need to be extended through the full dimension of the input volume. To address this issue, we present two structure learning algorithms for deep CNN models. Our algorithms exploit the covariance structure over multiple time series to partition input volume into groups. The first algorithm learns the group CNN structures explicitly by clustering individual input sequences. The second algorithm learns the group CNN structures implicitly from the error backpropagation. In experiments with two real-world datasets, we demonstrate that our group CNNs outperform existing CNN based regression methods.

研究の動機と目的

• 複雑なシステムにおける高次元の多次元時系列から、強固で一般化可能な特徴を学習する課題に対処する。
• 完全に接続されたマルコフ構造を仮定する標準CNNおよびRNNの限界を克服し、高次元入力に対して困難を示す問題を解決する。
• パラメータ共有を活用することで、時系列間の構造的相関を活用し、モデルの複雑さを低減し、一般化性能を向上させる。
• 明示的（スペクトルクラスタリング）および暗黙的（逆誤差伝搬ベース）の2つの構造学習アルゴリズムを開発し、より効率的な特徴学習のための入力信号のグループ化を実現する。

提案手法

• 共分散構造に基づいて入力の多次元時系列をグループに分割し、局所的かつパラメータ共有型の畳み込みを可能にする。
• 信号ダイナミクスの類似性を活用して、入力系列からの明示的グループ化をスペクトルクラスタリングで学習する。
• 事前のクラスタリングなしに、誤差逆伝搬中にグループ構造を発見する暗黙的グループ学習手法を実装する。
• 各グループ内でカーネルを共有するG-CNNを設計し、パラメータを削減し、ノイズに強い性能を実現する。
• 標準CNNおよび再帰的CNN（RCNN）の両方のアーキテクチャにG-CNNを適用し、グループ化畳み込みを用いた時系列モデリングを可能にする。
• すべてのモデルで一貫したハイパーパrameterを用いてバックプロパゲーションでモデルを学習し、公平な比較を実現する。

実験結果

リサーチクエスチョン

• RQ1 相関する多次元時系列をグループ化することで、ディープCNNにおける特徴学習および回帰性能が向上するか？
• RQ2 スペクトルクラスタリングによる入力系列の明示的クラスタリングは、非構造的CNNに比べてより良い一般化性能をもたらすか？
• RQ3 逆誤差伝搬中に暗黙的にグループ構造を発見することは、明示的クラスタリングおよび標準CNNを上回る性能を発揮するか？
• RQ4 G-CNNは、実世界の多次元時系列において、ヴァニラCNNおよびRCNNと比較して予測精度で優れているか？
• RQ5 相関する信号グループ内でのパラメータ共有は、モデルの複雑さをどの程度低減させ、耐性を向上させるか？

主な発見

• 暗黙的クラスタリング（係数法）を用いたG-CNNは、地下水データセットで0.754のSRMSEを達成し、ヴァニラRCNN（0.985 SRMSE）を上回った。
• ドローン飛行データセットでは、スペクトルクラスタリングを用いたG-RCNNが0.438のSRMSEを達成し、ヴァニラCNN（0.464 SRMSE）に対して5.8%の改善を示した。
• ドローンデータセットでは明示的クラスタリング法（スペクトルクラスタリング）が暗黙的法よりも高い性能を示したが、地下水データセットでは逆の傾向を示した。
• グループ化モデルは両データセットで一貫してSRMSEを低減し、一般化性能およびノイズ耐性の向上を実証した。
• 提案されたG-CNNは、線形回帰およびリッジ回帰モデルよりも顕著に優れており、地下水データではSRMSEが1.298を超えていた。
• 結果から、共分散構造を用いた入力グループ化が、より効率的で正確な多次元時系列回帰を実現することを確認した。