[论文解读] Certified Control: An Architecture for Verifiable Safety of Autonomous Vehicles

Dan Jackson, Valerie Richmond+7 more|arXiv (Cornell University)|Mar 29, 2021

Adversarial Robustness in Machine Learning参考文献 35被引用 6

一句话总结

本文提出了一种名为认证控制（certified control）的新颖安全架构，专为自动驾驶车辆设计。该架构通过将安全验证与决策过程分离，使主控制器生成形式化的安全证明（certificate），再由轻量级、形式可验证的监控模块进行检查。该方法显著减少了可信代码基（trusted code base），并实现了端到端的形式化安全验证。该方法通过基于激光雷达的障碍物检测证明及其在赛车原型中的形式化验证得到验证。

ABSTRACT

Widespread adoption of autonomous cars will require greater confidence in their safety than is currently possible. Certified control is a new safety architecture whose goal is two-fold: to achieve a very high level of safety, and to provide a framework for justifiable confidence in that safety. The key idea is a runtime monitor that acts, along with sensor hardware and low-level control and actuators, as a small trusted base, ensuring the safety of the system as a whole. Unfortunately, in current systems complex perception makes the verification even of a runtime monitor challenging. Unlike traditional runtime monitoring, therefore, a certified control monitor does not perform perception and analysis itself. Instead, the main controller assembles evidence that the proposed action is safe into a certificate that is then checked independently by the monitor. This exploits the classic gap between the costs of finding and checking. The controller is assigned the task of finding the certificate, and can thus use the most sophisticated algorithms available (including learning-enabled software); the monitor is assigned only the task of checking, and can thus run quickly and be smaller and formally verifiable. This paper explains the key ideas of certified control and illustrates them with a certificate for LiDAR data and its formal verification. It shows how the architecture dramatically reduces the amount of code to be verified, providing an end-to-end safety analysis that would likely not be achievable in a traditional architecture.

研究动机与目标

• 解决依赖复杂、学习型感知系统的自动驾驶车辆在安全验证方面所面临的挑战。
• 通过将安全验证工作卸载至轻量级、形式可验证的监控模块，减少可信代码基。
• 通过解耦控制器生成证明（certificate generation）与监控模块检查证明（certificate checking）的过程，实现端到端的形式化安全验证。
• 提供可辩护、可审计的安全论据，以增强监管机构与公众对自动驾驶系统的信心。

提出的方法

• 控制器生成包含传感器数据及其解释的安全证明，例如表示障碍物不存在的激光雷达点云数据。
• 运行时监控模块独立地使用形式化验证的谓词检查该证明，无需重新处理传感器数据。
• 该架构利用了寻找解决方案与验证解决方案之间存在的计算差距，使控制器可运行复杂算法，而监控模块仅执行简单、可验证的检查。
• 安全通过一个小型、形式可验证的可信基（包括传感器、执行器和监控模块）来保障，其中监控模块作为运行时安全论据的认证者。
• 证明格式与检查逻辑在设计阶段即被定义，以确保成功检查即意味着安全。
• 对监控模块的检查逻辑进行了形式化验证，并通过基于激光雷达数据的赛车原型实现进行了经验验证。

实验结果

研究问题

• RQ1 能否设计一种安全架构，使基于学习的感知系统在自动驾驶车辆中实现形式化安全验证？
• RQ2 如何在保持高安全保证的前提下最小化可信代码基？
• RQ3 将证明生成与检查过程分离，是否能够实现原本在单体系统中不可行的端到端安全验证？
• RQ4 使用证明在运行时验证安全性的实际与形式限制是什么？

主要发现

• 认证控制架构将需形式化验证的代码基缩减为极小、可管理的可信基，使得此前不可行的形式化验证成为可能。
• 对基于激光雷达的证明检查逻辑的形式化验证已成功完成，证明了端到端安全保证的可行性。
• 在赛车原型上的经验验证表明，系统能正确阻止不安全行为并放行安全行为，验证了其运行时行为的正确性。
• 该架构可支持任意安全阈值，并可扩展至概率性或多传感器证明，尽管此类扩展尚未经过形式化验证。
• 该架构对控制器因故障未能生成有效证明的情况具有鲁棒性，因为监控模块将拒绝此类动作，即使其本身是安全的，从而确保了安全性。