[论文解读] Demo Abstract: Real-Time Out-of-Distribution Detection on a Mobile Robot

Michael Yuhas, Arvind Easwaran|arXiv (Cornell University)|Nov 15, 2022

Autonomous Vehicle Technology and Safety被引用 4

一句话总结

本文提出了一种基于 YOLOv7 轻量级目标检测器和基于变分自编码器的 OOD 检测器的实时分布外（OOD）检测系统，部署于配备 Jetson Nano 的 Duckiebot 上。该系统在 800 毫秒内成功识别 OOD 样本（如模拟降雪），触发紧急制动且无误报，并在共享计算负载下保持车道保持和目标检测的实时性能。

ABSTRACT

In a cyber-physical system such as an autonomous vehicle (AV), machine learning (ML) models can be used to navigate and identify objects that may interfere with the vehicle's operation. However, ML models are unlikely to make accurate decisions when presented with data outside their training distribution. Out-of-distribution (OOD) detection can act as a safety monitor for ML models by identifying such samples at run time. However, in safety critical systems like AVs, OOD detection needs to satisfy real-time constraints in addition to functional requirements. In this demonstration, we use a mobile robot as a surrogate for an AV and use an OOD detector to identify potentially hazardous samples. The robot navigates a miniature town using image data and a YOLO object detection network. We show that our OOD detector is capable of identifying OOD images in real-time on an embedded platform concurrently performing object detection and lane following. We also show that it can be used to successfully stop the vehicle in the presence of unknown, novel samples.

研究动机与目标

• 解决机器学习模型在自主系统（如移动机器人）中面对分布外（OOD）数据时失效带来的安全风险。
• 开发一种可在嵌入式硬件上实时运行且不干扰关键控制任务的 OOD 检测系统。
• 验证 OOD 检测可在新型 OOD 条件（如模拟降雪）下触发紧急制动，从而避免碰撞。
• 评估并发任务执行对 OOD 检测、目标检测和车道保持响应时间的影响。
• 展示轻量级、独立部署的 OOD 检测器作为物理机器人平台上实时安全监控器的可行性。

提出的方法

• 使用配备 Jetson Nano 2GB 和 PREEMPT_RT 内核的 Duckiebot 作为自动驾驶车辆的替代平台。
• 系统同时运行三项任务：通过传统计算机视觉实现车道保持，使用量化后的 YOLOv7 轻量模型实现目标检测，以及基于光学流特征的变分自编码器实现 OOD 检测。
• 利用 Farnebäck 算法从连续图像生成光学流矩阵，并将其作为 OOD 检测器的输入。
• 采用遗传算法优化预处理参数（输入尺寸、流帧数量、插值方法），以最大化 F1 分数并最小化推理时间。
• 最终的 OOD 检测器采用 60x80 输入尺寸、10 帧光学流和双线性插值，平均推理时间为 53.3 ms。
• 所有模型均通过动态量化转换为 8 位，并在 AArch64 架构上通过 QNNPACK 后端执行。

实验结果

研究问题

• RQ1 能否在嵌入式平台上部署 OOD 检测器，并在与其他关键任务共享资源的情况下满足实时截止时间？
• RQ2 当面对新型 OOD 条件（如模拟降雪）时，OOD 检测器是否能成功触发紧急制动？
• RQ3 OOD 检测、目标检测和车道保持的并发执行在多大程度上降低了响应时间，尤其是对目标检测任务的影响？
• RQ4 OOD 检测器在检测此前未见过的环境扰动时，能否保持较低的误报率？
• RQ5 输入表示形式（如光学流）和模型配置的选择如何影响检测准确率与推理速度之间的权衡？

主要发现

• OOD 检测器的平均推理时间为 53.3 ms，最大响应时间小于 800 ms，满足实时性要求。
• 当使用彩纸模拟降雪时，OOD 检测器成功触发了紧急制动，证明其对 OOD 样本具有有效的检测能力。
• 在无 OOD 条件下，系统未产生任何误报，保持了沿轨道的安全导航。
• 即使在三项任务并发运行时，车道保持模块仍成功满足其实时截止时间。
• 由于系统高利用率和内存交换，目标检测任务在并发工作负载下经历了显著的性能下降（响应时间增加）。
• 遗传算法识别出一种配置（60x80 输入尺寸、10 帧流、双线性插值），在保持低推理时间的同时实现了 0.97 的高 F1 分数。