[论文解读] A Step Towards Efficient Evaluation of Complex Perception Tasks in Simulation

Jonathan Sadeghi, Blaine Rogers+5 more|arXiv (Cornell University)|Sep 28, 2021

Adversarial Robustness in Machine Learning被引用 6

一句话总结

本文提出一种代理建模方法，通过用计算成本较低的轻量级、低保真度代理模型替代计算成本高昂的深度学习模型（如LiDAR检测器），实现在仿真中高效评估复杂感知任务。该方法在Carla仿真器中使用PIXOR和CenterPoint检测器进行验证，实现计算时间减少20倍，同时在检测精度、召回率和碰撞时间等关键指标上与原始模型保持高度相似。

ABSTRACT

There has been increasing interest in characterising the error behaviour of systems which contain deep learning models before deploying them into any safety-critical scenario. However, characterising such behaviour usually requires large-scale testing of the model that can be extremely computationally expensive for complex real-world tasks. For example, tasks involving compute intensive object detectors as one of their components. In this work, we propose an approach that enables efficient large-scale testing using simplified low-fidelity simulators and without the computational cost of executing expensive deep learning models. Our approach relies on designing an efficient surrogate model corresponding to the compute intensive components of the task under test. We demonstrate the efficacy of our methodology by evaluating the performance of an autonomous driving task in the Carla simulator with reduced computational expense by training efficient surrogate models for PIXOR and CenterPoint LiDAR detectors, whilst demonstrating that the accuracy of the simulation is maintained.

研究动机与目标

• 解决自动驾驶等安全关键应用中基于深度学习的感知系统大规模测试所面临的高计算成本问题。
• 通过高效模拟计算密集型检测器的输入，实现对下游任务（如路径规划）的广泛故障模式分析。
• 开发一种代理建模框架，用低维显著变量替代高保真传感器输入，同时保留原始检测器的行为特性。
• 证明代理模型可在多样化仿真条件下保持与原始检测器输出的高度保真度，从而支持可扩展测试。
• 在基于仿真的验证过程中，减少对完整深度学习模型昂贵推理的依赖，同时不牺牲测试覆盖率或准确性。

提出的方法

• 该方法用低保真度仿真器和轻量级代理模型替代高保真度仿真器与计算密集型主干检测器，后者被训练以模仿原始检测器的输出。
• 使用显著变量（如物体位置、朝向、遮挡程度、光照条件和类别信息）作为代理模型的输入，而非原始传感器数据。
• 利用模拟场景数据集及对应的真实检测结果，训练代理模型以近似原始检测器（如CenterPoint或PIXOR）的输出。
• 将代理模型集成到仿真流程中，使其以与原始检测器相同的方式为下游任务（如路径规划）提供输入。
• 训练过程中采用分层采样以平衡数据集中类别不平衡问题，特别是针对不同距离下的车辆。
• 通过精确率、召回率、轨迹相似度和碰撞时间等指标评估代理模型，将其行为与原始检测器及真实值进行对比。

实验结果

研究问题

• RQ1 轻量级代理模型能否在仿真中准确复现如CenterPoint或PIXOR等复杂LiDAR检测器的检测行为？
• RQ2 代理模型在多大程度上可降低计算成本，同时保持对下游任务中故障模式检测的保真度？
• RQ3 代理模型在多大程度上能准确再现自动驾驶仿真中的关键指标，如碰撞间隔时间和路径完成情况？
• RQ4 代理模型能否在低维显著变量上有效训练，而不会与高保真度仿真相比造成显著精度损失？
• RQ5 代理模型的设计对下游任务行为（如路径规划）的真实性有何影响？

主要发现

• 与在Carla仿真器中运行原始CenterPoint检测器相比，代理模型（NS）将计算时间减少了20倍。
• NS在测试集上实现了100%的精确率，这得益于其设计上避免了误报。
• NS在召回率和轨迹相似度方面与原始检测器表现非常接近，尤其在近距离物体上表现优异。
• NS的碰撞间隔时间累积分布与原始检测器相比显著更接近，而非与真实值相比，表明其准确捕捉了故障动力学。
• 在某些场景中，NS在路径完成率和中位碰撞间隔时间上甚至优于真实值，这可能是由于未引入误报检测。
• 代理模型成功再现了已知的LiDAR检测器错误模式，如附录H中的定性示例所示。