[论文解读] Exploring Diversity-based Active Learning for 3D Object Detection in Autonomous Driving

Lin, Jinpeng, Zhihao Liang+6 more|arXiv (Cornell University)|May 16, 2022

Machine Learning and Algorithms被引用 9

一句话总结

本文提出一种基于多样性的主动学习方法，用于自动驾驶中的3D目标检测，通过使用GPS/IMU数据基于空间和时间多样性选择信息丰富的样本。在同时考虑帧级和3D边界框标注成本的真实标注成本设置下，该方法在nuScenes数据集上实现了SOTA性能，显著提升了样本效率并缓解了冷启动问题。

ABSTRACT

3D object detection has recently received much attention due to its great potential in autonomous vehicle (AV). The success of deep learning based object detectors relies on the availability of large-scale annotated datasets, which is time-consuming and expensive to compile, especially for 3D bounding box annotation. In this work, we investigate diversity-based active learning (AL) as a potential solution to alleviate the annotation burden. Given limited annotation budget, only the most informative frames and objects are automatically selected for human to annotate. Technically, we take the advantage of the multimodal information provided in an AV dataset, and propose a novel acquisition function that enforces spatial and temporal diversity in the selected samples. We benchmark the proposed method against other AL strategies under realistic annotation cost measurement, where the realistic costs for annotating a frame and a 3D bounding box are both taken into consideration. We demonstrate the effectiveness of the proposed method on the nuScenes dataset and show that it outperforms existing AL strategies significantly. Code is available at https://github.com/Linkon87/Exploring-Diversity-based-Active-Learning-for-3D-Object-Detection-in-Autonomous-Driving

研究动机与目标

• 通过减少对大规模人工标注数据集的依赖，降低自动驾驶中3D目标检测的高标注成本。
• 克服现有3D检测主动学习方法的局限性，特别是缺乏基于多样性的策略和真实成本建模。
• 开发一种适用于所有3D检测器的通用获取函数，独立于模型架构或特征提取器的质量。
• 通过在无需模型预测的情况下实现初始批次选择，缓解主动学习中的冷启动问题。
• 通过建模帧级和实例级标注成本，提供一种真实的主动学习评估框架。

提出的方法

• 提出一种新颖的获取函数，利用GPS/IMU数据强制实现空间多样性，以从不同位置选择样本。
• 通过从不同时步选择样本，引入时间多样性，以覆盖不同的场景动态和物体外观。
• 在初始预算之后激活深度特征的多样性，将空间和时间多样性与基于特征的多样性相结合，避免早期不可靠特征的影响。
• 使用GPS坐标之间的欧氏距离和流形距离定义空间多样性，其中流形距离表现出更优性能。
• 将标注成本建模为帧成本（$c_f$）和边界框成本（$c_b$）的加权和，以实现在不同成本模式下的真实评估。
• 采用热启动策略，利用空间和时间多样性在不依赖模型预测的情况下选择信息丰富的初始批次。

Figure 1: Distribution of samples selected by different active learning strategies and the corresponding performance - (a) Uncertainty, (b) Feature Diversity, (c) Temporal Diversity, (d) Spatial Diversity and (e) Combined Spatial and Temporal Diversity. (f) Performance curves on nuScenes. Colors rep

实验结果

研究问题

• RQ1 基于多样性的主动学习，特别是空间和时间维度，是否能显著提升3D目标检测性能并降低标注成本？
• RQ2 在同时考虑帧级和3D边界框标注成本的真实标注成本建模下，如何影响主动学习策略的评估与排序？
• RQ3 所提出的获取函数是否能有效解决3D检测主动学习中的冷启动问题，而无需依赖第一批次的模型预测？
• RQ4 在性能和收敛速度之间，空间、时间与基于特征的多样性项之间最优权衡是什么？
• RQ5 该方法对GPS/IMU数据中的定位误差有多鲁棒？时间多样性和特征多样性能否缓解此类局限性？

主要发现

• 所提出的空间+时间多样性方法在nuScenes数据集上以4800成本预算达到44.85% mAP，优于基线（44.64%）及其他所有基线方法。
• 使用流形距离进行空间多样性时，在4800成本预算下达到43.68% mAP，优于欧氏距离（42.98%），提升0.7个百分点。
• 在1200成本热启动后启用特征多样性时性能最佳（4800成本预算下达到45.02% mAP），表明特征集成的最佳时机。
• 设置特征多样性权重 $\lambda_f = 1$ 时性能最高（4800成本预算下为45.02% mAP），而更高或更低的值均导致性能下降。
• 在所有成本测量设置下，包括最真实的设置（$c_f=0.6, c_b=0.04$），该方法始终优于基于不确定性的采样和随机采样。
• 通过空间和时间多样性实现高质量初始批次选择，有效缓解冷启动问题，从而实现更快收敛和更优长期性能。

Figure 2: The proposed AL pipeline for 3D object detection. The spatial, temporal and feature diversity terms are complementary to each other.