[论文解读] Kayotee: A Fault Injection-based System to Assess the Safety and Reliability of Autonomous Vehicles to Faults and Errors

Saurabh Jha, Timothy Tsai+5 more|arXiv (Cornell University)|Jul 1, 2019

Autonomous Vehicle Technology and Safety参考文献 14被引用 33

一句话总结

Kayotee 是一个故障注入工具和本体论，系统地将硬件和软件故障注入自动驾驶软件栈，以在闭环 ADS 环境中研究故障传播、掩蔽和安全影响。

ABSTRACT

Fully autonomous vehicles (AVs), i.e., AVs with autonomy level 5, are expected to dominate road transportation in the near-future and contribute trillions of dollars to the global economy. The general public, government organizations, and manufacturers all have significant concern regarding resiliency and safety standards of the autonomous driving system (ADS) of AVs . In this work, we proposed and developed (a) `Kayotee' - a fault injection-based tool to systematically inject faults into software and hardware components of the ADS to assess the safety and reliability of AVs to faults and errors, and (b) an ontology model to characterize errors and safety violations impacting reliability and safety of AVs. Kayotee is capable of characterizing fault propagation and resiliency at different levels - (a) hardware, (b) software, (c) vehicle dynamics, and (d) traffic resilience. We used Kayotee to study a proprietary ADS technology built by Nvidia corporation and are currently applying Kayotee to other open-source ADS systems.

研究动机与目标

• 激发对自动驾驶车辆的安全性与可靠性关注，以及需要研究超越机器学习模型的计算栈鲁棒性。
• 开发 Kayotee，使其能够向 ADS 的软件和硬件组件注入瞬态故障并观察安全结果。
• 描述跨硬件、软件、车辆动力学和交通场景的故障传播与掩蔽特征。
• 提供在故障条件下量化 ADS 弹性与安全违规的的方法学与本体论。

提出的方法

• 故障注入工具（Kayotee），能够向 ADS 模块注入硬件故障（GPU/CPU 架构状态）和软件状态错误（SLI）。
• 由 XML 配置驱动的活动管理器，用于选择故障点、故障类型和场景，并且具备确定性事件驱动同步以实现重复的闭环运行。
• GPU 故障模型：在正在执行指令的架构状态中进行比特翻转，目标为寄存器和存储值，模仿 SASSIFI。
• SLI 故障模型：对所选 ADS 输出（如对象感知、车道坐标和控制命令）应用随机、固定、缩放、消失等故障。
• 使用基于 DriveSim 的仿真进行情景丰富的评估，以在车辆动力学和执行命令方面生成对比无故障（黄金）输出与注入输出。
• 一个本体论和基于 IQR 的离群标记，用于区分已激活的故障、DUEs、SD Cs 与执行错误，并连接到如碰撞距离和制动距离等安全指标。

实验结果

研究问题

• RQ1 ADS 中哪些软件模块最易受故障/错误影响（如对象感知、定位、规划）？
• RQ2 ADS 中的错误比固有数据质量/ML 不准确性对安全性/可靠性的降级贡献更大吗？
• RQ3 在故障条件下，安全性/鲁棒性与输入交通特征之间是否存在统计关系？
• RQ4 在 CPU 与 GPU 之间，错误易感性是否存在统计学差异？

主要发现

• Kayotee 能实现对硬件、软件、车辆动力学和交通层面的错误传播与掩蔽的表征。
• 该框架支持向 GPU/CPU 架构状态注入比特翻转并破坏 ADS 的输入/输出以研究鲁棒性。
• 在 Nvidia DriveWorks 上演示了 Kayotee，并计划扩展到 Apollo/OpenPilot 和 CARLA，以获得更广泛的适用性。
• 一个本体论将故障表现与安全结果联系起来，包括 DUEs、SD Cs 和执行错误，并使用与场景无关的安全指标，如安全包线侵犯和车道居中偏离。
• 作者将 Kayotee 的能力与先前工作（如 AVFI）进行比较，并强调对 ADS 安全性的闭环、端到端评估故障影响。