[论文解读] Learning representations for multivariate time series with missing data using Temporal Kernelized Autoencoders

Filippo Maria Bianchi, Lorenzo Livi+3 more|arXiv (Cornell University)|May 9, 2018

Time Series Analysis and Forecasting参考文献 74被引用 7

一句话总结

本文提出时间核化自编码器（TKAE），一种基于循环神经网络的自编码器，通过将学习到的表示对齐到处理缺失值而无需插补的时间序列聚类核（TCK），在不依赖插补方法的情况下，学习具有缺失数据的多变量时间序列的压缩、固定长度表示。主要贡献在于在分类、插补和异常检测等下游任务中实现更优的表示学习与性能，即使在高缺失数据率下亦然。

ABSTRACT

Learning compressed representations of multivariate time series (MTS) facilitates data analysis in the presence of noise and redundant information, and for a large number of variates and time steps. However, classical dimensionality reduction approaches are designed for vectorial data and cannot deal explicitly with missing values. In this work, we propose a novel autoencoder architecture based on recurrent neural networks to generate compressed representations of MTS. The proposed model can process inputs characterized by variable lengths and it is specifically designed to handle missing data. Our autoencoder learns fixed-length vectorial representations, whose pairwise similarities are aligned to a kernel function that operates in input space and that handles missing values. This allows to learn good representations, even in the presence of a significant amount of missing data. To show the effectiveness of the proposed approach, we evaluate the quality of the learned representations in several classification tasks, including those involving medical data, and we compare to other methods for dimensionality reduction. Successively, we design two frameworks based on the proposed architecture: one for imputing missing data and another for one-class classification. Finally, we analyze under what circumstances an autoencoder with recurrent layers can learn better compressed representations of MTS than feed-forward architectures.

研究动机与目标

• 解决在数据随机缺失（MAR）情况下，学习有意义的多变量时间序列（MTS）表示的挑战，且不依赖有偏见的插补技术。
• 开发一种深度学习架构，可处理可变长度的MTS输入，并在存在缺失数据时保持成对相似性。
• 通过学习稳健的低维表示，提升分类、缺失数据插补和单类异常检测等下游任务的性能。
• 探究循环结构在学习有效MTS表示方面是否优于前馈网络，尤其是在短序列或非规则采样序列中。

提出的方法

• TKAE使用双向RNN编码器配合全连接非线性层，将可变长度MTS压缩为固定大小的潜在向量。
• 模型强制学习到的表示与时间序列聚类核（TCK）之间的核对齐，TCK可在无需插补的情况下计算含缺失值MTS之间的相似性。
• TCK通过在变量、时间片段和样本的随机子集上训练的对角协方差高斯混合模型（DiagGMM）集合计算，使用后验概率生成核矩阵。
• 自编码器通过重构损失和核对齐损失端到端训练，后者促使潜在空间反映由TCK定义的输入空间相似性。
• 解码器采用堆叠RNN实现，从学习到的潜在表示重建原始MTS，支持自编码与插补任务。
• 通过利用学习到的表示和TCK处理缺失性的能力，将框架扩展至支持缺失数据插补和单类分类。

实验结果

研究问题

• RQ1 深度自编码器架构能否在避免标准插补方法引入偏差的前提下，学习到含缺失数据的多变量时间序列的有意义、低维表示？
• RQ2 与可处理缺失值的TCK之间进行核对齐，是否能提升学习表示的质量，从而改善下游任务表现？
• RQ3 基于RNN的自编码器在学习可变长度且含缺失数据的MTS表示方面，相较于前馈架构表现如何？
• RQ4 在何种场景下，基于RNN的架构在捕捉MTS的时间依赖性方面优于前馈网络？
• RQ5 所提出的TKAE框架能否有效适配至缺失数据插补和单类分类任务？

主要发现

• TKAE在多变量时间序列分类任务中达到最先进性能，即使在高达50%缺失数据下仍优于依赖插补的方法。
• 与TCK的核对齐显著提升了表示质量，表现为更高的分类准确率和更优的输入空间相似性保持。
• 对于短序列或周期性变化大的非规则采样MTS，基于RNN的编码器在表示学习方面始终优于前馈架构。
• 对于无明显时间模式的超长MTS，将TKAE中的RNN层替换为全连接层可获得更优性能，表明其架构具备可适配性。
• TKAE框架在单类分类和缺失数据插补任务中表现有效，证明其在表示学习之外的多功能性。
• 实证分析证实，TCK核能有效捕捉含缺失值MTS之间的有意义相似性，即使数据并非完全随机缺失。