[论文解读] Estimating the electrical power output of industrial devices with end-to-end time-series classification in the presence of label noise

Andrea Castellani, Sebastian Schmitt+1 more|arXiv (Cornell University)|May 1, 2021

Time Series Analysis and Forecasting参考文献 65被引用 23

一句话总结

本文提出自监督嵌入分析自重标记（SREA），一种多任务深度学习框架，通过共享表示联合训练时间序列分类器与自编码器，以纠正工业发电量估计中的标签噪声。SREA以自监督方式有效检测并重标记因传感器故障导致的误分类样本，在合成与真实世界噪声时间序列数据上显著优于当前最先进方法，包括联合热电（CHP）机组发电量预测任务。

ABSTRACT

In complex industrial settings, it is common practice to monitor the operation of machines in order to detect undesired states, adjust maintenance schedules, optimize system performance or collect usage statistics of individual machines. In this work, we focus on estimating the power output of a Combined Heat and Power (CHP) machine of a medium-sized company facility by analyzing the total facility power consumption. We formulate the problem as a time-series classification problem where the class label represents the CHP power output. As the facility is fully instrumented and sensor measurements from the CHP are available, we generate the training labels in an automated fashion from the CHP sensor readings. However, sensor failures result in mislabeled training data samples which are hard to detect and remove from the dataset. Therefore, we propose a novel multi-task deep learning approach that jointly trains a classifier and an autoencoder with a shared embedding representation. The proposed approach targets to gradually correct the mislabelled data samples during training in a self-supervised fashion, without any prior assumption on the amount of label noise. We benchmark our approach on several time-series classification datasets and find it to be comparable and sometimes better than state-of-the-art methods. On the real-world use-case of predicting the CHP power output, we thoroughly evaluate the architectural design choices and show that the final architecture considerably increases the robustness of the learning process and consistently beats other recent state-of-the-art algorithms in the presence of unstructured as well as structured label noise.

研究动机与目标

• 为解决工业能源监控中时间序列分类的标签噪声挑战，特别是当训练标签由故障传感器自动生成时。
• 开发一种自监督深度学习方法，可在不预先知晓噪声水平的情况下检测并纠正误标样本。
• 提升时间序列分类模型在真实工业环境中因传感器故障导致训练数据不可靠时的鲁棒性。
• 在合成噪声污染基准与真实世界CHP发电量输出估计场景（含实际传感器故障）中评估该方法。
• 分析方法对超参数的敏感性，并识别最优网络架构配置。

提出的方法

• SREA采用多任务学习框架，通过共享编码器生成时间序列分类器与自编码器共用的嵌入表示。
• 分类器从共享嵌入中预测CHP发电量输出类别，而自编码器则从同一嵌入重建输入时间序列。
• 通过基于模型置信度与嵌入空间结构的迭代式自重标记机制实现标签噪声校正。
• 该方法采用动态损失加权策略，初始阶段侧重分类损失，随后逐步转向优先优化嵌入空间的重建与一致性。
• 训练过程包含一个预热阶段，先仅用原始标签训练分类器，随后进入联合优化阶段，同时更新两个任务。
• 该框架对对称与非对称标签噪声以及翻转噪声均具有鲁棒性，且无需事先知晓噪声比例。

实验结果

研究问题

• RQ1 自监督多任务学习框架能否在工业场景中有效检测并纠正由传感器故障导致的时间序列误标样本？
• RQ2 在不同类型的标签噪声（对称、非对称、翻转）下，所提出的SREA方法相较于当前最先进时间序列分类模型表现如何？
• RQ3 输入信号选择（如总功率、环境温度、水温）对模型在存在标签噪声时的性能有何影响？
• RQ4 SREA模型对其超参数（尤其是初始损失权重与重建损失调整策略）的敏感性如何？
• RQ5 SREA能否泛化至真实工业数据，处理非结构化且不可预测的传感器故障，而不仅限于受控的合成噪声？

主要发现

• 在合成噪声污染基准上，SREA达到最先进性能，显著优于MixUp-BMM、Co-teaching与SIGUA等方法，尤其在高噪声比例下表现突出。
• 在30%非对称标签噪声下，SREA在CHP数据集上取得0.921的F1-score，显著优于次优方法Co-teaching（0.871）。
• 在真实世界评估中，SREA成功重标记了PCHP传感器故障期间（9月19日）的数据，并准确识别出其他活跃CHP阶段，展现出对真实传感器故障的鲁棒性。
• 消融实验表明，同时包含Ptot、Tamb与Twater三路输入信号时性能最高（对称噪声下F1-score达0.978），证实多模态输入的重要性。
• 超参数分析显示，λinit = 40与∆end = 30在各类噪声下均提供最稳定性能，且对∆start变化不敏感。
• 校正后的混淆矩阵显示类别分布近乎完美，97.8%的样本被正确分类，表明噪声校正效果显著。