[论文解读] On The Reliability Of Machine Learning Applications In Manufacturing Environments

Nicolas Jourdan, Sagar Sen+4 more|arXiv (Cornell University)|Dec 13, 2021

Air Quality Monitoring and Forecasting被引用 8

一句话总结

本文研究了机器学习（ML）模型在工业制造环境中的长期可靠性，表明概念漂移和传感器漂移会严重降低模型的准确性与置信度校准水平。研究显示，集成方法（如随机森林）在漂移条件下仍能保持优越的置信度校准性能，因此在持续学习系统中具有在线性能监控和漂移检测的潜力。

ABSTRACT

The increasing deployment of advanced digital technologies such as Internet of Things (IoT) devices and Cyber-Physical Systems (CPS) in industrial environments is enabling the productive use of machine learning (ML) algorithms in the manufacturing domain. As ML applications transcend from research to productive use in real-world industrial environments, the question of reliability arises. Since the majority of ML models are trained and evaluated on static datasets, continuous online monitoring of their performance is required to build reliable systems. Furthermore, concept and sensor drift can lead to degrading accuracy of the algorithm over time, thus compromising safety, acceptance and economics if undetected and not properly addressed. In this work, we exemplarily highlight the severity of the issue on a publicly available industrial dataset which was recorded over the course of 36 months and explain possible sources of drift. We assess the robustness of ML algorithms commonly used in manufacturing and show, that the accuracy strongly declines with increasing drift for all tested algorithms. We further investigate how uncertainty estimation may be leveraged for online performance estimation as well as drift detection as a first step towards continually learning applications. The results indicate, that ensemble algorithms like random forests show the least decay of confidence calibration under drift.

研究动机与目标

• 评估受概念漂移和传感器漂移影响的真实工业环境中机器学习模型的长期可靠性。
• 评估常用机器学习算法（如支持向量机、随机森林和神经网络）在时间依赖性数据漂移下的鲁棒性。
• 研究不确定性估计技术在制造应用中用于在线性能估计和漂移检测的实用性。
• 识别在工业CPS和物联网系统中增强对分布偏移适应能力的模型特征。
• 为在实际制造环境中部署可靠、持续学习的机器学习系统提供实用指导。

提出的方法

• 利用来自制造环境中气体传感器阵列在36个月内收集的真实工业数据集，模拟长期部署场景。
• 在静态训练数据上训练并评估多种机器学习算法（支持向量机、随机森林、神经网络等），并在逐步漂移的测试集上测试其性能。
• 通过测量模型准确率、置信度分数和期望校准误差（ECE）来评估在漂移条件下的可靠性与校准鲁棒性。
• 将ECE作为置信度校准的主要指标，因其具有良好的可解释性与实际部署的简便性。
• 使用不同随机种子重复实验10次，以确保统计稳健性，并报告均值与标准差。
• 将置信度分数用作持续学习流程中漂移检测与模型微调的潜在触发信号，尤其适用于缺乏显式在线监控的系统。

实验结果

研究问题

• RQ1 在长期概念漂移与传感器漂移下，制造环境中常见机器学习算法的表现如何？
• RQ2 在真实世界数据漂移下，模型置信度校准的退化程度如何？其是否可作为性能下降的指示信号？
• RQ3 哪些机器学习算法在漂移条件下表现出最稳健的置信度校准？其原因是什么？
• RQ4 不确定性估计技术（如ECE）能否有效用于工业机器学习系统中的在线性能监控与漂移检测？
• RQ5 在具有动态数据分布的现实制造环境中部署持续学习系统，具有哪些实际影响？

主要发现

• 所有测试的机器学习算法（支持向量机、随机森林和神经网络）在36个月期间随着漂移加剧，性能均出现显著下降。
• 置信度随漂移显著降低，尤其在随机森林中更为明显，表明置信度分数可作为性能下降的早期指示信号。
• 所有模型在漂移数据上的期望校准误差（ECE）显著增加，表明在分布内数据上校准良好的模型无法可靠预测分布外数据的校准状态。
• 随机森林在漂移条件下表现出最稳健的置信度校准，其ECE增幅最小，表明其在动态环境中的可靠性更优。
• 在漂移数据上，ECE在重复实验中的标准差增加，表明漂移效应并非一致，而是依赖于特定的漂移模式与幅度。
• 结果支持将模型置信度（尤其是随机森林等集成方法的置信度）用作持续学习流程中在线监控、数据收集与模型重训练的触发机制。