[论文解读] Assurance Monitoring of Cyber-Physical Systems with Machine Learning Components

Dimitrios Boursinos, Xenofon Koutsoukos|arXiv (Cornell University)|Jan 14, 2020

Anomaly Detection Techniques and Applications参考文献 23被引用 8

一句话总结

本文提出了一种基于置信预测的网络物理系统（CPS）保证监控框架，适用于集成机器学习组件的系统，采用基于嵌入的非符合性评分以实现实时、校准良好的置信度估计。该方法在保持最小报警数量的同时，确保了有界的误差率，在交通标志和机器人导航数据集上表现出计算高效且校准良好。

ABSTRACT

Machine learning components such as deep neural networks are used extensively in Cyber-Physical Systems (CPS). However, they may introduce new types of hazards that can have disastrous consequences and need to be addressed for engineering trustworthy systems. Although deep neural networks offer advanced capabilities, they must be complemented by engineering methods and practices that allow effective integration in CPS. In this paper, we investigate how to use the conformal prediction framework for assurance monitoring of CPS with machine learning components. In order to handle high-dimensional inputs in real-time, we compute nonconformity scores using embedding representations of the learned models. By leveraging conformal prediction, the approach provides well-calibrated confidence and can allow monitoring that ensures a bounded small error rate while limiting the number of inputs for which an accurate prediction cannot be made. Empirical evaluation results using the German Traffic Sign Recognition Benchmark and a robot navigation dataset demonstrate that the error rates are well-calibrated while the number of alarms is small. The method is computationally efficient, and therefore, the approach is promising for assurance monitoring of CPS.

研究动机与目标

• 为解决集成机器学习组件（如深度神经网络）的网络物理系统（CPS）中可能出现不可预测危害的可信性挑战。
• 开发一种实时保证监控框架，为CPS中的机器学习预测提供校准良好的置信度估计。
• 通过最小化报警数量，减少需要人工干预的输入数量，同时保持有界的误差率。
• 通过利用学习得到的嵌入表示，实现在典型CPS中高维输入空间中的高效部署。
• 在真实世界CPS基准（包括交通标志识别和机器人导航）上验证该方法的有效性与计算效率。

提出的方法

• 该方法采用置信预测框架，生成具有保证误差率的预测集，确保统计可靠性。
• 通过训练好的深度神经网络生成的嵌入表示计算非符合性评分，以高效处理高维输入。
• 通过利用预训练模型和对嵌入的快速推理，避免对每个输入重新训练，实现实时运行。
• 构建预测集，使得真实标签以用户定义的置信水平（例如95%）落入其中。
• 该框架动态识别模型置信度过低的输入，仅在必要时触发报警。
• 系统设计计算高效，适用于在安全关键型CPS中部署。

实验结果

研究问题

• RQ1 基于嵌入的非符合性评分的置信预测能否为CPS中的高维输入提供校准良好的置信度估计？
• RQ2 该方法在实时监控中，能否在保持有界误差率的同时有效最小化报警数量？
• RQ3 该方法在真实世界CPS应用（如交通标志识别和机器人导航）中的可扩展性如何？
• RQ4 与标准预测方法相比，该方法在可靠性与计算开销方面表现如何？
• RQ5 该框架能否在不损害性能或安全性的前提下实现实时系统部署？

主要发现

• 该方法在德国交通标志识别基准和机器人导航数据集中均实现了校准良好的误差率，实际误差率与名义置信水平高度一致。
• 需要报警的输入数量（即低置信度样本）保持在较低水平，表明监控资源得到高效利用。
• 该方法表现出计算高效性，支持实现实时运行，适用于安全关键型CPS的部署。
• 使用嵌入表示显著降低了非符合性评分的计算成本，相比直接处理高维输入。
• 实证结果证实，预测集维持了预期的误差率边界，验证了置信预测的理论保证。
• 该框架成功处理了来自真实世界CPS应用的复杂高维输入，且性能未出现下降。