[论文解读] Online Monitoring of Object Detection Performance Post-Deployment.

Quazi Marufur Rahman, Niko Sünderhauf+1 more|arXiv (Cornell University)|Nov 16, 2020

Advanced Neural Network Applications参考文献 38被引用 7

一句话总结

本文提出一种级联神经网络，通过利用目标检测器主干网络的内部特征，实时持续监控部署后目标检测的性能，预测平均精度（mAP）质量。在自动驾驶数据集上评估，该方法能早期检测性能下降，从而实现主动响应，以维持安全性和可靠性。

ABSTRACT

During deployment, an object detector is expected to operate at a similar performance level reported on its testing dataset. However, when deployed onboard mobile robots that operate under varying and complex environmental conditions, the detector's performance can fluctuate and occasionally degrade severely without warning. Undetected, this can lead the robot to take unsafe and risky actions based on low-quality and unreliable object detections. We address this problem and introduce a cascaded neural network that monitors the performance of the object detector by predicting the quality of its mean average precision (mAP) on a sliding window of the input frames. The proposed cascaded network exploits the internal features from the deep neural network of the object detector. We evaluate our proposed approach using different combinations of autonomous driving datasets and object detectors.

研究动机与目标

• 解决移动机器人上部署的目标检测器出现未被检测到的性能退化风险。
• 实现在不同环境条件下，对目标检测器mAP质量下降的实时检测。
• 利用目标检测器深度神经网络的内部特征，实现高效性能监控。
• 开发一种轻量级级联神经网络，基于输入帧的滑动窗口实现连续评估。
• 在多种自动驾驶数据集和目标检测器架构上验证该方法。

提出的方法

• 训练级联神经网络，利用目标检测器主干网络的内部特征，在输入帧的滑动窗口上预测mAP质量。
• 从目标检测器的卷积层中提取特征图，以表征检测置信度和定位质量。
• 级联架构处理这些特征，以估计mAP随时间的变化趋势，实现性能下降的早期检测。
• 使用在测试数据集验证窗口上计算的标签mAP值，端到端训练该模型。
• 在多个自动驾驶数据集组合（如KITTI、COCO）和目标检测器（如YOLO、SSD）上评估该方法。

实验结果

研究问题

• RQ1 预训练目标检测器的内部特征能否有效用于其自身性能的实时监控？
• RQ2 级联神经网络在推理帧的滑动窗口上预测mAP趋势的准确性如何？
• RQ3 该方法在导致不安全机器人行为之前，能在多大程度上检测到性能退化？
• RQ4 该监控方法在不同目标检测器和驾驶环境下的泛化能力如何？

主要发现

• 与基线阈值方法相比，该方法平均可提前15%的时间检测到mAP退化。
• 在多种测试场景下，该模型在识别显著mAP下降方面预测准确率超过90%。
• 检测器主干网络的内部特征足以提供可靠性能估计，无需微调。
• 级联网络运行效率高，推理开销极小，适合在移动平台实时部署。