[论文解读] Evaluation Metrics for Object Detection for Autonomous Systems

Apurva Badithela, Tichakorn Wongpiromsarn+1 more|arXiv (Cornell University)|Oct 19, 2022

Formal Methods in Verification被引用 6

一句话总结

本文提出了两种新颖的评估指标——基于距离的命题标记混淆矩阵与类别标记混淆矩阵，用于评估自动驾驶系统中的目标检测性能。通过将这些指标与线性时序逻辑（LTL）形式化验证相结合，该框架量化了系统级安全满足概率，结果表明，与传统方法相比，距离感知和命题驱动的指标在低速条件下显著提升了安全满足概率。

ABSTRACT

This paper studies the evaluation of learning-based object detection models in conjunction with model-checking of formal specifications defined on an abstract model of an autonomous system and its environment. In particular, we define two metrics -- \emph{proposition-labeled} and \emph{class-labeled} confusion matrices -- for evaluating object detection, and we incorporate these metrics to compute the satisfaction probability of system-level safety requirements. While confusion matrices have been effective for comparative evaluation of classification and object detection models, our framework fills two key gaps. First, we relate the performance of object detection to formal requirements defined over downstream high-level planning tasks. In particular, we provide empirical results that show that the choice of a good object detection algorithm, with respect to formal requirements on the overall system, significantly depends on the downstream planning and control design. Secondly, unlike the traditional confusion matrix, our metrics account for variations in performance with respect to the distance between the ego and the object being detected. We demonstrate this framework on a car-pedestrian example by computing the satisfaction probabilities for safety requirements formalized in Linear Temporal Logic (LTL).

研究动机与目标

• 为填补基于下游系统级安全需求而非孤立准确率指标评估目标检测模型的空白。
• 考虑物体距离对检测性能的显著影响，而传统混淆矩阵忽略了这一因素。
• 构建一个正式框架，将感知性能与以线性时序逻辑（LTL）表达的高层安全属性关联起来。
• 通过实证方法证明，目标检测模型的选择会影响系统级安全满足概率，且该影响取决于规划与控制设计。
• 提供一种整合感知、规划与形式化验证的定量系统级安全评估方法。

提出的方法

• 提出一种基于距离参数化的类别标记混淆矩阵，以捕捉不同本体-目标距离范围内的检测性能变化。
• 引入命题标记混淆矩阵，用于追踪物体类别（如“ped”或“obs”）的逻辑组合，以更准确反映规划器的输入。
• 从混淆矩阵构建马尔可夫链，以建模系统状态转移，并计算满足LTL安全规范的概率。
• 使用NuScenes数据集，结合YOLOv3生成的2D目标检测预测结果，生成85个场景、每个场景40帧的评估数据。
• 将安全需求形式化为LTL（例如，“始终与行人保持安全距离”），并利用马尔可夫链模型计算满足概率。
• 比较不同混淆矩阵类型与距离范围下的满足概率，以评估其对系统级安全的影响。

实验结果

研究问题

• RQ1 目标检测性能如何随本体车辆距离变化？这种变化如何影响系统级安全验证？
• RQ2 目标检测模型的选择在多大程度上影响形式化安全需求的满足概率？该影响如何依赖于下游规划器？
• RQ3 命题标记混淆矩阵是否能比类别标记混淆矩阵更准确地反映系统级安全？
• RQ4 基于距离参数化的混淆矩阵相较于标准混淆矩阵，如何提升安全满足概率的估计精度？
• RQ5 将感知性能整合进形式化验证，是否能为自动驾驶系统带来更真实且可操作的安全评估？

主要发现

• 命题标记混淆矩阵的系统级安全满足概率高于类别标记混淆矩阵，表明其与规划器逻辑更具对齐性。
• 基于距离参数化的混淆矩阵在低速条件下使满足概率提升两倍，相较标准混淆矩阵。
• 随着车辆速度增加，满足概率下降，反映出在高速下从检测错误中恢复能力减弱。
• 在NuScenes数据集上使用微调后的YOLOv3模型，其基线满足概率较低（约20%），主要受限于模态与领域偏移问题。
• 实证结果表明，本体车辆10米以内的物体检测性能显著更优，验证了距离感知指标的必要性。
• 该框架表明，同一目标检测模型在不同下游规划与控制架构下可能导致截然不同的安全结果。