[论文解读] Anomaly Detection through Transfer Learning in Agriculture and Manufacturing IoT Systems

Mustafa Abdallah, Wo Jae Lee+4 more|arXiv (Cornell University)|Feb 11, 2021

Anomaly Detection Techniques and Applications参考文献 44被引用 14

一句话总结

本文提出了一种基于迁移学习的物联网系统异常检测框架，应用于数字农业和智能制造领域，利用高采样率传感器数据（例如压电传感器）提升低采样率传感器（例如MEMS传感器）的检测性能。结果表明，迁移学习显著提高了分类准确率，尤其是在接近故障状态时；尽管训练时间更长，LSTM在异常预测方面仍优于ARIMA模型。

ABSTRACT

IoT systems have been facing increasingly sophisticated technical problems due to the growing complexity of these systems and their fast deployment practices. Consequently, IoT managers have to judiciously detect failures (anomalies) in order to reduce their cyber risk and operational cost. While there is a rich literature on anomaly detection in many IoT-based systems, there is no existing work that documents the use of ML models for anomaly detection in digital agriculture and in smart manufacturing systems. These two application domains pose certain salient technical challenges. In agriculture the data is often sparse, due to the vast areas of farms and the requirement to keep the cost of monitoring low. Second, in both domains, there are multiple types of sensors with varying capabilities and costs. The sensor data characteristics change with the operating point of the environment or machines, such as, the RPM of the motor. The inferencing and the anomaly detection processes therefore have to be calibrated for the operating point. In this paper, we analyze data from sensors deployed in an agricultural farm with data from seven different kinds of sensors, and from an advanced manufacturing testbed with vibration sensors. We evaluate the performance of ARIMA and LSTM models for predicting the time series of sensor data. Then, considering the sparse data from one kind of sensor, we perform transfer learning from a high data rate sensor. We then perform anomaly detection using the predicted sensor data. Taken together, we show how in these two application domains, predictive failure classification can be achieved, thus paving the way for predictive maintenance.

研究动机与目标

• 解决数字农业中传感器数据稀疏性问题以及智能制造中传感器特性多变的挑战。
• 开发一种迁移学习方法，利用高数据率传感器提升低采样率传感器的异常检测性能。
• 评估并比较LSTM与ARIMA模型在真实物联网系统中时间序列预测与异常检测的表现。
• 通过迁移学习与数据增强技术提升故障分类准确率，尤其针对接近故障状态。
• 通过校准异常检测模型以适应工业系统中不同运行工况（例如电机转速）的需求，实现预测性维护。

提出的方法

• 利用LSTM与半监督ARIMA模型，对农业与制造物联网部署中的传感器时间序列数据进行预测。
• 通过在高采样率压电传感器数据上训练深度神经网络，并在低采样率MEMS传感器数据上进行微调，实现迁移学习。
• 在制造测试平台中，针对不同运行工况（例如300–380 RPM）对异常检测模型进行校准，以适应传感器特性随工况变化的影响。
• 实施数据增强技术以提升模型泛化能力，尤其针对罕见或接近故障的状态。
• 使用在某一转速下训练的二分类模型检测其他转速下的异常，评估跨运行工况的性能表现。
• 通过在多个转速与故障类型下评估模型性能，结合混淆矩阵与平均准确率报告，使用准确率指标进行综合评估。

实验结果

研究问题

• RQ1 通过利用高采样率传感器数据，迁移学习是否能提升低采样率传感器的异常检测性能？
• RQ2 在农业与制造物联网系统中，LSTM与ARIMA模型在时间序列预测与异常检测方面表现如何比较？
• RQ3 迁移学习在多大程度上提升了故障分类准确率，尤其是在接近故障状态时？
• RQ4 在智能制造系统中，模型性能在不同运行工况（例如转速）下如何变化？
• RQ5 数据增强技术是否能提升对传感器数据中罕见或早期故障模式的检测能力？

主要发现

• 通过利用高采样率压电传感器数据，迁移学习显著提升了低采样率MEMS传感器的分类准确率，尤其在接近故障状态下提升最为明显。
• 在某一转速下训练的二分类模型在其他转速上测试的平均准确率达到88.82%（RPM-320）、95.12%（RPM-340）、95.46%（RPM-360）与89.07%（RPM-380），表明模型具备出色的跨运行工况泛化能力。
• LSTM在异常检测方面优于ARIMA，尽管训练时间更长，但其预测准确率更高。
• 数据增强提升了预测性能，尤其在接近故障模式下提升更为显著，表明其在罕见事件检测中的价值。
• 迁移学习模型在预测与训练时相同转速下的异常时达到100%准确率，证明其在域内任务上的强表现。
• 本研究证实，运行工况校准至关重要，因为传感器数据特性随转速显著变化，模型必须相应地重新训练或适应。