[论文解读] Modeling Sensing and Perception Errors towards Robust Decision Making in Autonomous Vehicles

Andrea Piazzoni, Jim Cherian+2 more|arXiv (Cornell University)|Jan 31, 2020

Autonomous Vehicle Technology and Safety参考文献 7被引用 6

一句话总结

本文提出一种基于仿真的方法，用于评估感知与传感（S&P）误差对自动驾驶汽车决策的影响，弥合了感知精度与系统级鲁棒性之间的差距。通过建模多种误差类型并仿真其影响，该方法使开发者能够评估S&P性能是否足以在现实世界不确定性下实现安全、可靠的决策。

ABSTRACT

Sensing and Perception (S&P) is a crucial component of an autonomous system (such as a robot), especially when deployed in highly dynamic environments where it is required to react to unexpected situations. This is particularly true in case of Autonomous Vehicles (AVs) driving on public roads. However, the current evaluation metrics for perception algorithms are typically designed to measure their accuracy per se and do not account for their impact on the decision making subsystem(s). This limitation does not help developers and third party evaluators to answer a critical question: is the performance of a perception subsystem sufficient for the decision making subsystem to make robust, safe decisions? In this paper, we propose a simulation-based methodology towards answering this question. At the same time, we show how to analyze the impact of different kinds of sensing and perception errors on the behavior of the autonomous system.

研究动机与目标

• 解决当前评估指标中感知精度与自动驾驶汽车决策鲁棒性之间关联不足的关键缺陷。
• 开发一种方法，量化不同传感与感知误差对自动驾驶系统行为的影响。
• 使开发者和评估者能够判断感知子系统的性能是否足以实现安全、可靠的决策。
• 模拟并分析S&P误差在动态驾驶环境中通过决策流程的传播。
• 通过识别最严重削弱决策鲁棒性的误差类型，支持设计更具韧性的自动驾驶系统。

提出的方法

• 作者设计了一个仿真框架，向自动驾驶汽车系统中注入受控的传感与感知误差，以观察其对下游决策的影响。
• 该方法对多种S&P误差类型进行建模，包括检测失败、误报以及定位不准确，覆盖多样化的交通场景。
• 将感知输出与决策模块集成，以在误差条件下模拟实时响应，支持行为分析。
• 采用基于场景的测试方法，通过改变误差的幅度和频率，评估系统的鲁棒性。
• 使用碰撞率、路径偏差和反应时间等指标评估误差条件下的系统性能。
• 该框架支持对不同感知算法的对比分析，以识别鲁棒性权衡。

实验结果

研究问题

• RQ1 特定类型的传感与感知误差在多大程度上会降低自动驾驶汽车决策的鲁棒性？
• RQ2 哪些误差类型对碰撞避免或车道保持等关键安全行为影响最大？
• RQ3 仅凭感知系统的精度是否足以确保安全决策，还是误差传播效应必须纳入评估？
• RQ4 S&P误差的不同组合如何影响自动驾驶汽车行为的可靠性和可预测性？
• RQ5 哪些基于仿真的指标能够有效预测在感知不确定性下的真实世界决策鲁棒性？

主要发现

• 研究表明，仅靠感知精度不足以保证决策的鲁棒性，因为误差传播会显著降低系统性能。
• 物体检测中的误报导致过度制动和频繁变道，在高密度交通场景中增加了碰撞风险。
• 定位误差对路径规划产生了不成比例的影响，导致频繁且不安全的轨迹偏离。
• 仿真框架成功识别出感知与决策模块之间误差相互作用引发的先前未被发现的故障模式。
• 即使感知精度较高的系统，在特定误差模式下仍表现出不安全行为，凸显了误差感知评估的必要性。
• 该方法可在实际部署前早期发现感知相关漏洞，从而提升系统安全验证水平。