[论文解读] LATTE: Accelerating LiDAR Point Cloud Annotation via Sensor Fusion, One-Click Annotation, and Tracking

Bernie Wang, Virginia Wu+2 more|arXiv (Cornell University)|Apr 19, 2019

Advanced Neural Network Applications参考文献 21被引用 8

一句话总结

LATTE 是一款开源的激光雷达点云标注工具，通过传感器融合、一键式3D边界框生成和时间跟踪技术显著提升标注效率。相比基线标注方法，其标注速度提升6.2倍，精度提高23.6%，召回率提高2.2%，IoU提高2.0%，显著提升了效率与标注质量。

ABSTRACT

LiDAR (Light Detection And Ranging) is an essential and widely adopted sensor for autonomous vehicles, particularly for those vehicles operating at higher levels (L4-L5) of autonomy. Recent work has demonstrated the promise of deep-learning approaches for LiDAR-based detection. However, deep-learning algorithms are extremely data hungry, requiring large amounts of labeled point-cloud data for training and evaluation. Annotating LiDAR point cloud data is challenging due to the following issues: 1) A LiDAR point cloud is usually sparse and has low resolution, making it difficult for human annotators to recognize objects. 2) Compared to annotation on 2D images, the operation of drawing 3D bounding boxes or even point-wise labels on LiDAR point clouds is more complex and time-consuming. 3) LiDAR data are usually collected in sequences, so consecutive frames are highly correlated, leading to repeated annotations. To tackle these challenges, we propose LATTE, an open-sourced annotation tool for LiDAR point clouds. LATTE features the following innovations: 1) Sensor fusion: We utilize image-based detection algorithms to automatically pre-label a calibrated image, and transfer the labels to the point cloud. 2) One-click annotation: Instead of drawing 3D bounding boxes or point-wise labels, we simplify the annotation to just one click on the target object, and automatically generate the bounding box for the target. 3) Tracking: we integrate tracking into sequence annotation such that we can transfer labels from one frame to subsequent ones and therefore significantly reduce repeated labeling. Experiments show the proposed features accelerate the annotation speed by 6.2x and significantly improve label quality with 23.6% and 2.2% higher instance-level precision and recall, and 2.0% higher bounding box IoU. LATTE is open-sourced at https://github.com/bernwang/latte.

研究动机与目标

• 为解决由于分辨率低、3D标注操作复杂以及帧间序列冗余导致的手动激光雷达点云标注效率低和不准确的问题。
• 减少在自动驾驶感知任务中对稀疏、低分辨率激光雷达点云进行标注的时间与人工工作量。
• 通过基于图像的检测技术进行预标注，并最小化人工调整，从而提升标注质量。
• 通过减轻人工标注负担，实现面向基于激光雷达检测的深度学习任务的可扩展、高质量数据集构建。
• 提供一款开源、可扩展的工具，支持除现有封闭标注流程之外的自定义激光雷达传感器与配置。

提出的方法

• 传感器融合：利用校准后的相机图像上预训练的基于图像的目标检测器生成初始2D检测结果，并将其投影并转换到3D激光雷达点云中，作为初始3D边界框提案。
• 一键标注：允许用户通过单次点击选择目标物体，系统基于学习到的先验模型（基于物体尺寸、方向和位置）自动生成3D边界框。
• 跟踪：实现一种跟踪算法，将前一帧中的边界框传播至后续帧，减少在时间上相关联的数据中的重复标注。
• 交互式优化：允许人工标注者以最少交互操作验证并调整由传感器融合、一键生成或跟踪得到的预标注框。
• 集成工作流：将上述三项功能整合为统一的标注工作流——传感器融合用于初始检测，一键标注用于快速标注，跟踪用于帧间一致性。
• 评估框架：使用真实标注结果和KITTI数据集标注结果，衡量IoU、精确率、召回率、标注时间及每实例的操作次数。

实验结果

研究问题

• RQ1 在稀疏点云中，校准相机与激光雷达之间的传感器融合是否能提升目标识别能力与标注速度？
• RQ2 与手动绘制3D框相比，一键式3D边界框生成在多大程度上减少了标注时间和工作量？
• RQ3 在序列数据中，跟踪技术在减少连续激光雷达帧间重复标注方面有多高效？
• RQ4 传感器融合、一键标注与跟踪三者结合对标注速度、准确率与标注质量的综合影响如何？
• RQ5 所提出的工具是否能在减少标注操作次数的同时，实现比基线手动标注更高的精确率与召回率？

主要发现

• 与基线手动3D框绘制相比，LATTE将标注时间缩短6.2倍，每实例平均标注时间从9.51秒降至1.53秒。
• 完整功能的LATTE配置将每实例平均标注操作次数从3.76次减少至1.02次，降幅达3.7倍。
• 与基线相比，LATTE将实例级精确率提高23.6%（从69.9%提升至93.5%），召回率提高2.2%（从82.9%提升至85.1%）。
• 与真实标注结果的平均IoU从85.5%提升至87.5%，与KITTI真实标注结果的IoU从82.3%提升至84.7%，表明标注质量更高。
• 仅使用传感器融合，IoU提升0.8%，召回率提升2.1%，精确率提升14.0%，证明其在辅助目标识别方面的有效性。
• 仅使用跟踪功能，实现4.74倍的速度提升，并显著提高标注一致性，大幅减少序列帧间的重复标注。