[论文解读] It's Time to Play Safe: Shield Synthesis for Timed Systems

Akshay, S., Genest, Blaise+3 more|arXiv (Cornell University)|Jun 30, 2020

Formal Methods in Verification参考文献 26被引用 5

一句话总结

本文提出时序后防护罩（post-shields）与前防护罩（pre-shields）用于实时系统，从时序自动机规格自动合成防护罩，以最小干扰实现安全约束。该文引入后防护罩的恢复保证机制，确保干预后系统能及时恢复控制，并在自动驾驶车队编队的强化学习中验证了其有效性，显著减少碰撞次数，同时实现安全学习。

ABSTRACT

Erroneous behaviour in safety critical real-time systems may inflict serious consequences. In this paper, we show how to synthesize timed shields from timed safety properties given as timed automata. A timed shield enforces the safety of a running system while interfering with the system as little as possible. We present timed post-shields and timed pre-shields. A timed pre-shield is placed before the system and provides a set of safe outputs. This set restricts the choices of the system. A timed post-shield is implemented after the system. It monitors the system and corrects the system's output only if necessary. We further extend the timed post-shield construction to provide a guarantee on the recovery phase, i.e., the time between a specification violation and the point at which full control can be handed back to the system. In our experimental results, we use timed post-shields to ensure the safety in a reinforcement learning setting for controlling a platoon of cars, during the learning and execution phase, and study the effect.

研究动机与目标

• 为解决在形式化验证因复杂性而不可行的安全关键实时系统中的安全挑战。
• 开发一种自动合成时序防护罩的方法，以在不干扰系统行为的前提下强制执行时序安全属性。
• 通过建模故障场景，为后防护罩引入恢复保证，确保干预后系统控制能及时恢复。
• 在自动驾驶车队编队的强化学习设置中评估该方法。
• 证明在训练和执行阶段均应用防护罩可提升安全性，同时不损害学习效率。

提出的方法

• 使用 Uppaal Tiga 和 Uppaal Stratego 自动合成时序防护罩，从时序自动机规格生成安全策略。
• 实现两种防护罩类型：前防护罩通过限制系统输出至安全选择，后防护罩则通过监控并纠正不安全输出。
• 通过建模故障场景，为后防护罩引入恢复保证，确保干预在有界时间内结束。
• 在强化学习流程中应用时序后防护罩，实时纠正学习智能体产生的不安全动作。
• 采用包含速度与距离约束的车队编队模型，评估防护罩在动态条件下的性能表现。
• 设计奖励函数，对不安全距离（≤5m 或 ≥200m）施加惩罚，以指导强化学习训练并评估安全性。

实验结果

研究问题

• RQ1 能否从时序自动机自动合成时序防护罩，以在实时系统中强制执行安全约束？
• RQ2 如何扩展后防护罩以保证干预后的有界恢复时间？
• RQ3 在强化学习设置中，同时在训练和执行阶段应用后防护罩会产生何种影响？
• RQ4 在训练阶段应用防护罩是否能在不降低学习性能的前提下提升安全性？
• RQ5 前防护罩与后防护罩在干扰程度与安全强制执行方面有何差异？

主要发现

• 在未使用防护罩的设置中，10,000次模拟中10辆车共发生983次碰撞，表明执行阶段风险极高。
• 仅在执行阶段应用后防护罩后，碰撞次数降为零，平均碰撞前模拟时间提升至544个时间单位。
• 当防护罩同时应用于训练和执行阶段时，平均奖励为342，而未使用防护罩的场景中为608，表明安全与奖励之间存在权衡。
• 防护罩训练阶段的持续时间始终为2000个时间单位，因为安全得到保障；而未使用防护罩的场景中，因碰撞导致训练提前终止。
• 采用未使用防护罩的训练阶段与执行阶段仅使用后防护罩的组合，其平均奖励优于全程使用防护罩的设置，表明无约束学习可能存在优势。
• 结果证实，时序后防护罩能有效防止车队编队中的碰撞，即使在领导者行为动态且不确定的情况下亦成立。