[论文解读] Grouped Convolutional Neural Networks for Multivariate Time Series

Subin Yi, Janghoon Ju+2 more|arXiv (Cornell University)|Mar 29, 2017

Time Series Analysis and Forecasting参考文献 26被引用 31

一句话总结

本文提出分组卷积神经网络（G-CNNs），通过协方差结构将多变量时间序列划分为相关组，实现高效且参数共享的模型学习。通过显式聚类序列（谱聚类）或通过反向传播隐式学习分组，G-CNNs 在地下水和无人机传感器数据集上均优于标准CNN和RCNN，SRMSE最高降低23%。

ABSTRACT

Analyzing multivariate time series data is important for many applications such as automated control, fault diagnosis and anomaly detection. One of the key challenges is to learn latent features automatically from dynamically changing multivariate input. In visual recognition tasks, convolutional neural networks (CNNs) have been successful to learn generalized feature extractors with shared parameters over the spatial domain. However, when high-dimensional multivariate time series is given, designing an appropriate CNN model structure becomes challenging because the kernels may need to be extended through the full dimension of the input volume. To address this issue, we present two structure learning algorithms for deep CNN models. Our algorithms exploit the covariance structure over multiple time series to partition input volume into groups. The first algorithm learns the group CNN structures explicitly by clustering individual input sequences. The second algorithm learns the group CNN structures implicitly from the error backpropagation. In experiments with two real-world datasets, we demonstrate that our group CNNs outperform existing CNN based regression methods.

研究动机与目标

• 解决在复杂系统中从高维多变量时间序列学习鲁棒、泛化性强特征的挑战。
• 克服标准CNN和RNN假设完全连接、马尔可夫结构所带来的局限，这些模型在高维输入下表现不佳。
• 通过参数共享利用时间序列间的结构相关性，降低模型复杂度并提升泛化能力。
• 提出两种结构学习算法——显式方法（谱聚类）与隐式方法（基于反向传播），用于对输入信号进行分组，以实现更高效的特征学习。

提出的方法

• 基于协方差结构将输入的多变量时间序列划分为组，以支持局部化、参数共享的卷积操作。
• 使用谱聚类显式学习输入序列的分组，利用信号动态的相似性。
• 实现一种隐式分组学习方法，在反向传播过程中发现组结构，无需预先聚类。
• 设计组CNN（G-CNNs），在每组内共享卷积核，减少参数量并提升抗噪能力。
• 将G-CNN架构应用于标准CNN和循环CNN（RCNNs），通过分组卷积实现时间建模。
• 使用反向传播训练模型，所有模型采用一致的超参数设置，确保公平比较。

实验结果

研究问题

• RQ1 对相关多变量时间序列进行分组，是否能提升深度CNN中的特征学习与回归性能？
• RQ2 通过谱聚类对输入序列进行显式聚类，是否能带来优于无结构CNN的泛化性能？
• RQ3 在反向传播过程中隐式发现组结构，是否能优于显式聚类和标准CNN？
• RQ4 在真实世界多变量时间序列上，G-CNNs与原始CNN和RCNN相比，预测精度如何？
• RQ5 在相关信号组内进行参数共享，在多大程度上能降低模型复杂度并提升鲁棒性？

主要发现

• 在地下水数据集上，采用隐式聚类（coeff方法）的G-CNN达到最低SRMSE（0.754），优于原始RCNN（0.985 SRMSE）。
• 在无人机飞行数据集上，采用谱聚类的G-RCNN达到0.438 SRMSE，较原始CNN（0.464 SRMSE）提升5.8%。
• 在无人机数据集上，显式聚类方法（谱聚类）性能优于隐式方法；而在地下水数据集上则相反。
• 分组模型在两个数据集上均持续降低SRMSE，证明其泛化能力更强且对噪声更鲁棒。
• 所提出的G-CNNs显著优于线性回归与岭回归模型，后者在地下水数据上的SRMSE均超过1.298。
• 结果证实，利用协方差结构进行输入分组，可实现更高效、更精确的多变量时间序列回归。