[论文解读] Automatic generation of ground truth for the evaluation of obstacle detection and tracking techniques

Hatem Hajri, Emmanuel Doucet+4 more|arXiv (Cornell University)|Jul 16, 2018

Autonomous Vehicle Technology and Safety参考文献 8被引用 3

一句话总结

本文提出了一种新颖的无标注方法，用于在自动驾驶的障碍物检测与跟踪中自动生成高精度真实轨迹数据。通过利用配备RTK-GNSS和IMU的本车及目标车辆，该方法在本车坐标系中计算相对位置、速度和航向角，实现了位置的均方根误差≤0.12 m，速度的均方根误差≤0.30 m/s。

ABSTRACT

As automated vehicles are getting closer to becoming a reality, it will become mandatory to be able to characterise the performance of their obstacle detection systems. This validation process requires large amounts of ground-truth data, which is currently generated by manually annotation. In this paper, we propose a novel methodology to generate ground-truth kinematics datasets for specific objects in real-world scenes. Our procedure requires no annotation whatsoever, human intervention being limited to sensors calibration. We present the recording platform which was exploited to acquire the reference data and a detailed and thorough analytical study of the propagation of errors in our procedure. This allows us to provide detailed precision metrics for each and every data item in our datasets. Finally some visualisations of the acquired data are given.

研究动机与目标

• 消除障碍物检测与跟踪评估中真实轨迹生成的人工标注。
• 开发一种可扩展的自动化方法，利用真实世界车辆平台生成精确的运动学数据。
• 量化并界定真实轨迹生成过程中误差传播的范围，以确保可靠性。
• 支持感知算法（如LiDAR聚类与传感器融合）的评估与基准测试。
• 从真实世界数据中学习更精确的动态运动模型，以提升跟踪性能。

提出的方法

• 使用两辆或更多车辆：本车配备感知传感器（LiDAR、摄像头、RADAR），目标车辆仅配备高精度定位系统。
• 采用RTK-GNSS与高精度IMU，通过卡尔曼滤波融合，实现厘米级定位，估计车辆状态与偏差。
• 在分布式车辆间应用鲁棒的时间同步方法，确保毫秒级时钟对齐。
• 利用相对运动方程，在本车坐标系中计算目标车辆的相对运动学参数（位置、速度、航向）。
• 基于误差传播模型，推导位置与速度协方差矩阵的解析上界。
• 通过使用精确的星历数据和光滑处理进行后处理，进一步提升定位精度。

实验结果

研究问题

• RQ1 是否可以无需人工标注或人工标注即可生成障碍物检测与跟踪的真实轨迹？
• RQ2 使用多车RTK-GNSS与IMU系统，自动生成的真实轨迹可达到的最大精度是多少？
• RQ3 定位与时间同步中的误差如何传播，从而影响生成的真实轨迹数据的准确性？
• RQ4 该方法在多大程度上可支持感知算法（如LiDAR聚类与传感器融合）的评估与改进？
• RQ5 生成的真实轨迹是否能够支持学习比标准预设模型更精确的动态运动模型？

主要发现

• 该方法在生成的真实轨迹数据中实现了位置的均方根误差≤0.12 m，速度的均方根误差≤0.30 m/s。
• 通过使用相对距离（50 m）、速度（36 m/s）和航向角速率（1 rad/s）的极端值，推导出解析误差边界，确保保守估计。
• 在60秒的GNSS信号中断下，水平位置误差增加至0.10 m，高度误差为0.07 m，表现出良好的鲁棒性。
• 该方法可实现无需任何人工标注的真实轨迹自动生成，仅依赖传感器标定与数据融合。
• 真实轨迹数据支持LiDAR聚类、传感器融合（LiDAR-Radar-摄像头）以及动态模型学习的评估。
• 该方法为自动驾驶感知系统提供了一套可扩展、可重复且高精度的基准测试框架。