[论文解读] Multi-label Prediction in Time Series Data using Deep Neural Networks

Wenyu Zhang, Devesh K. Jha+2 more|arXiv (Cornell University)|Jan 27, 2020

Text and Document Classification Technologies参考文献 26被引用 8

一句话总结

本文提出一种多标签预测网络（MPN），一种使用新型损失函数以强调罕见类别的循环神经网络深度学习方法，可在类别严重不平衡的时间序列数据中实现准确的多标签故障预测。该方法通过整合时间局部化和上下文信息，在工业和人体活动识别基准上提升了F1分数和召回率。

ABSTRACT

This paper addresses a multi-label predictive fault classification problem for multidimensional time-series data. While fault (event) detection problems have been thoroughly studied in literature, most of the state-of-the-art techniques can't reliably predict faults (events) over a desired future horizon. In the most general setting of these types of problems, one or more samples of data across multiple time series can be assigned several concurrent fault labels from a finite, known set and the task is to predict the possibility of fault occurrence over a desired time horizon. This type of problem is usually accompanied by strong class imbalances where some classes are represented by only a few samples. Importantly, in many applications of the problem such as fault prediction and predictive maintenance, it is exactly these rare classes that are of most interest. To address the problem, this paper proposes a general approach that utilizes a multi-label recurrent neural network with a new cost function that accentuates learning in the imbalanced classes. The proposed algorithm is tested on two public benchmark datasets: an industrial plant dataset from the PHM Society Data Challenge, and a human activity recognition dataset. The results are compared with state-of-the-art techniques for time-series classification and evaluation is performed using the F1-score, precision and recall.

研究动机与目标

• 解决时间序列数据中严重类别不平衡的多标签故障预测挑战，其中罕见故障类型虽关键但代表性不足。
• 开发一种方法，能够预测未来时间窗口内多个并发故障，而非仅在故障发生后进行检测。
• 通过修改损失函数以优先考虑代表性不足的标签，提升罕见故障类别（在状态监测与健康管理中常见）的预测准确性。
• 在原始传感器数据之外，整合上下文信息（如设定点、控制模式）以增强预测性能。
• 通过在具有多标签、稀疏标签的人体活动识别任务中应用该模型，证明其在工业故障预测之外的泛化能力。

提出的方法

• 使用多标签循环神经网络（RNN），处理历史时间序列观测 $ z^{(i)}_{1:\tau} $ 和上下文序列 $ c^{(i)} $，以预测未来故障标签。
• 定义两个预测目标：段级标签 $ \tilde{y}^{(i)} \in \{0,1\}^L $，表示整个时间窗口内故障是否存在；以及逐时间步标签 $ \tilde{o}^{(i)}_{\tau+1:T} $，表示每个时间步的故障存在情况。
• 设计一种自定义损失函数，为罕见类别分配更高权重，并支持每样本标签数量可变，以应对类别不平衡问题。
• 使用加权损失通过反向传播端到端训练模型，实现对段级和逐时间步标签预测的联合优化。
• 引入时间局部化头（MPN-localize），通过学习在逐时间步级别精确定位故障，提升预测的精确率和召回率。
• 使用控制设定点、运行模式和时间点指示等上下文特征，丰富输入表示，提升泛化能力。

实验结果

研究问题

• RQ1 深度学习模型能否在严重类别不平衡的时间序列数据中有效预测多个并发故障？
• RQ2 与仅使用原始传感器数据相比，整合上下文信息（如设定点、控制模式）是否能提升多标签故障预测的准确性？
• RQ3 一种强调罕见类别的自定义损失函数，在类别不平衡的多标签时间序列预测任务中，能在多大程度上提升性能？
• RQ4 与仅使用段级预测相比，故障预测的时间局部化（逐时间步标签）对F1分数和召回率有何影响？
• RQ5 所提出的模型是否能超越工业故障预测，在其他领域（如具有稀疏多标签输出的人体活动识别）中实现泛化？

主要发现

• 所提出的MPN-base模型在PHM 2012数据集上优于最先进方法，实现了更高的F1分数，并显著提升了罕见故障类别的召回率。
• 引入逐时间步标签监督的MPN-localize在HAR数据集上将宏观F1分数提升了5.0个百分点（从0.361提升至0.411），优于MPN-base。
• 在PHM数据集上，MPN-localize模型在保持高召回率的同时减少了误报，时间局部化显著提升了33个工厂的整体F1分数。
• 该模型对标签稀疏性表现出强鲁棒性，即使某些标签出现次数少于10次，也能成功预测罕见故障组合。
• 自定义损失函数显著提升了少数类别的性能，表现为与标准交叉熵损失相比，罕见标签的F1分数更高。
• 超参数调优表明，当 $ \lambda = 1 $ 且 $ \eta = 0.01 $ 时，MPN-localize变体在两个基准数据集上均实现了精确率与召回率的最佳平衡。