[论文解读] Hindsight is 20/20: Leveraging Past Traversals to Aid 3D Perception

Yurong You, Katie Z Luo+7 more|arXiv (Cornell University)|Mar 22, 2022

Advanced Neural Network Applications被引用 5

一句话总结

本文提出 Hindsight，一种可端到端训练的框架，利用同一场景的未标注历史 LiDAR 扫描数据，以提升 3D 目标检测性能。通过将历史数据聚合为一种紧凑的、地理参考的特征结构 SQuaSH，该方法显著提升了对小尺寸、远距离或被遮挡目标的检测能力——在真实世界数据集的困难样本上，平均精度提升超过 300%，且无需额外监督。

ABSTRACT

Self-driving cars must detect vehicles, pedestrians, and other traffic participants accurately to operate safely. Small, far-away, or highly occluded objects are particularly challenging because there is limited information in the LiDAR point clouds for detecting them. To address this challenge, we leverage valuable information from the past: in particular, data collected in past traversals of the same scene. We posit that these past data, which are typically discarded, provide rich contextual information for disambiguating the above-mentioned challenging cases. To this end, we propose a novel, end-to-end trainable Hindsight framework to extract this contextual information from past traversals and store it in an easy-to-query data structure, which can then be leveraged to aid future 3D object detection of the same scene. We show that this framework is compatible with most modern 3D detection architectures and can substantially improve their average precision on multiple autonomous driving datasets, most notably by more than 300% on the challenging cases.

研究动机与目标

• 为解决在 LiDAR 点云中检测小尺寸、远距离或高度遮挡的 3D 目标所面临的挑战，这些目标通常缺乏足够的信息以实现准确检测。
• 探究同一场景的未标注历史扫描是否能提供有价值的上下文信息以改善 3D 感知。
• 开发一种方法，将历史场景数据整合到现代 3D 检测器中，而无需额外标注或重新训练。
• 实现随着更多扫描数据的积累，检测性能的持续提升。
• 构建一种可扩展、高效且保护隐私的框架，与现有 3D 检测流水线兼容。

提出的方法

• 该方法利用神经网络，从同一场景的多个历史 LiDAR 扫描中构建一种稀疏的、地理参考的表示结构，称为 SQuaSH（空间量化稀疏历史）。
• SQuaSH 编码了包括目标持续性、常见轨迹和背景结构在内的上下文信息，跨多次扫描进行整合。
• 在推理阶段，通过查询 SQuaSH 获取每个点周围的局部上下文信息，将这些信息作为辅助特征添加到检测器中，从而丰富当前 LiDAR 扫描的特征表示。
• 整个流程——包括 SQuaSH 特征提取和 3D 检测器——仅使用检测标注进行端到端训练，无需额外监督。
• SQuaSH 表示在离线阶段预先计算，并在在线推理中实现低延迟查询，支持实时推理。
• 该框架可与多种最先进的 3D 检测器兼容，并可随着新扫描数据的加入逐步更新。

实验结果

研究问题

• RQ1 同一场景的未标注历史 LiDAR 扫描是否能提供有意义的上下文信息以改善 3D 目标检测？
• RQ2 如何将历史场景数据高效聚合为一种紧凑、可查询的表示结构，以支持实时应用？
• RQ3 仅使用检测标签的联合训练方案是否能提升对小尺寸或远距离目标等困难样本的检测性能？
• RQ4 该方法是否在不同 3D 检测架构和真实世界数据集上均具有泛化能力？
• RQ5 随着更多扫描数据的积累，性能是否随时间持续提升？

主要发现

• Hindsight 在两个大规模真实世界数据集上，对具有挑战性的样本（如小尺寸、远距离或高度遮挡的目标）实现了超过 300% 的平均精度相对提升。
• 该方法在四种不同的最先进 3D 目标检测器（包括 PointRCNN、PointPillars、CenterPoint 和 PV-RCNN）上均一致提升了检测性能。
• 误报数量显著减少，同时保持或提升了召回率，尤其在远距离行人和小尺寸自行车骑行者检测中表现突出。
• SQuaSH 表示结构支持随时间推移持续提升性能，无需重新训练，仅通过增加历史扫描数据即可实现。
• 该框架保持了低推理延迟，并与现有 3D 检测流水线兼容，支持即插即用的集成方式。
• 该方法对场景变化具有鲁棒性，在当前扫描数据稀疏或模糊时仍能提供有意义的上下文信息。