[论文解读] Conformal Prediction for STL Runtime Verification

Lars Lindemann, Qin Xin+2 more|arXiv (Cornell University)|Nov 3, 2022

Software Reliability and Analysis Research被引用 4

一句话总结

该论文提出两种基于置信预测的算法，用于基于信号时序逻辑（STL）的随机网络物理系统预测性运行时验证。通过将轨迹预测器（如RNN、LSTM）与置信预测相结合，该方法在用户定义的置信水平下生成STL满足度度量的有效预测区域，提供形式化保证，且无需对系统分布做假设或在规范变更时重新训练。

ABSTRACT

We are interested in predicting failures of cyber-physical systems during their operation. Particularly, we consider stochastic systems and signal temporal logic specifications, and we want to calculate the probability that the current system trajectory violates the specification. The paper presents two predictive runtime verification algorithms that predict future system states from the current observed system trajectory. As these predictions may not be accurate, we construct prediction regions that quantify prediction uncertainty by using conformal prediction, a statistical tool for uncertainty quantification. Our first algorithm directly constructs a prediction region for the satisfaction measure of the specification so that we can predict specification violations with a desired confidence. The second algorithm constructs prediction regions for future system states first, and uses these to obtain a prediction region for the satisfaction measure. To the best of our knowledge, these are the first formal guarantees for a predictive runtime verification algorithm that applies to widely used trajectory predictors such as RNNs and LSTMs, while being computationally simple and making no assumptions on the underlying distribution. We present numerical experiments of an F-16 aircraft and a self-driving car.

研究动机与目标

• 解决在实时约束下，随机系统预测性运行时验证缺乏形式化验证保证的问题。
• 在运行时以高置信度实现对网络物理系统规范违反的早期检测。
• 为基于预测的验证提供形式化概率保证，且无需对底层系统分布或预测器模型做假设。
• 支持在规范变更时无需重新训练，即可在关键安全应用中使用复杂预测器（如RNN和LSTM）。
• 确保计算简单性并具备对系统动态中噪声（如控制信号扰动）的鲁棒性。

提出的方法

• 使用轨迹预测器（如RNN、LSTM）从观测到的系统前缀预测未来系统状态。
• 应用置信预测构建未来系统状态的预测区域，在独立同分布假设下保证有限样本有效性。
• 对于直接方法，计算STL规范在预测轨迹上的满足度度量，并利用非符合性得分构建真实满足度度量的预测区域。
• 对于间接方法，首先为未来状态生成预测区域，然后利用这些状态区域推导真实满足度度量的下界。
• 使用校准数据计算非符合性得分并确定预测区域阈值 $ C $，确保真实满足度度量以用户定义的置信水平落在 $ C $ 内。
• 利用STL的鲁棒语义量化系统满足或违反规范的可靠性，实现精确的故障预测。

实验结果

研究问题

• RQ1 基于轨迹预测器的预测性运行时验证能否为规范违反检测提供形式化概率保证？
• RQ2 置信预测如何与STL结合，以确保对系统未来行为不确定性量化的有效性？
• RQ3 在不假设系统分布的前提下，所提方法在使用LSTM等复杂预测器时，其有效性可维持到何种程度？
• RQ4 在预测区域大小和验证准确性方面，直接与间接置信预测方法的性能表现如何比较？
• RQ5 该框架能否处理噪声或变化的系统动态，如由随机控制输入引入的情况？

主要发现

• 对于IL控制器和规范 $\phi_1$，100条测试轨迹中有99条满足 $\rho^{\phi_1}(\hat{x},\tau_0) > C \Rightarrow (x,\tau_0) \models \phi_1$，验证了定理1。
• 对于CBF控制器和 $\phi_1$，全部100条测试轨迹均满足 $\rho^{\phi_1}(\hat{x},\tau_0) > C \Rightarrow (x,\tau_0) \models \phi_1$，表明验证具有极高的可靠性。
• CBF控制器的预测区域 $C$ 更小，可能是因为轨迹变异性较低，使得LSTM预测更准确。
• 对于 $\phi_2$，IL控制器下99/100条轨迹和CBF控制器下98/100条轨迹满足蕴含式 $\rho^{\phi_2}(\hat{x},\tau_0) > C \Rightarrow (x,\tau_0) \models \phi_2$，验证了方法在不同规范下的有效性。
• 在IL控制器下，方程(3)被95/100条轨迹满足，在CBF控制器下为95/100条，对于 $\phi_1$；对于 $\phi_2$，分别为98/100和92/100，确认了预测区域的校准性。
• 该框架对控制信号中的高斯噪声保持鲁棒性，而训练不佳的LSTM会产生更大的预测区域，表明对预测器质量具有敏感性。