[论文解读] Attentive Prototypes for Source-free Unsupervised Domain Adaptive 3D Object Detection

Deepti Hegde, Vishal M. Patel|arXiv (Cornell University)|Nov 30, 2021

Advanced Neural Network Applications被引用 5

一句话总结

该论文提出了一种用于3D目标检测的无源、无监督域自适应框架，采用基于Transformer的注意力原型，在自训练过程中优化噪声伪标签。通过聚焦显著且高不确定性的区域，并降低错误、过度自信的预测权重，该方法在域偏移场景下提升了检测mAP性能——在Waymo→KITTI和nuScenes→KITTI基准上超越了先前的SOTA方法，mAP提升最高达12.5%。

ABSTRACT

3D object detection networks tend to be biased towards the data they are trained on. Evaluation on datasets captured in different locations, conditions or sensors than that of the training (source) data results in a drop in model performance due to the gap in distribution with the test (or target) data. Current methods for domain adaptation either assume access to source data during training, which may not be available due to privacy or memory concerns, or require a sequence of lidar frames as an input. We propose a single-frame approach for source-free, unsupervised domain adaptation of lidar-based 3D object detectors that uses class prototypes to mitigate the effect pseudo-label noise. Addressing the limitations of traditional feature aggregation methods for prototype computation in the presence of noisy labels, we utilize a transformer module to identify outlier ROI's that correspond to incorrect, over-confident annotations, and compute an attentive class prototype. Under an iterative training strategy, the losses associated with noisy pseudo labels are down-weighed and thus refined in the process of self-training. To validate the effectiveness of our proposed approach, we examine the domain shift associated with networks trained on large, label-rich datasets (such as the Waymo Open Dataset and nuScenes) and evaluate on smaller, label-poor datasets (such as KITTI) and vice-versa. We demonstrate our approach on two recent object detectors and achieve results that out-perform the other domain adaptation works.

研究动机与目标

• 解决由于源数据集（如Waymo、nuScenes）与目标数据集（如KITTI）之间分布差异导致的3D目标检测域偏移问题。
• 克服在噪声伪标签（尤其是误检）影响下，传统特征聚合方法在原型计算中的局限性。
• 开发一种无源、单帧域自适应方法，无需访问源数据或序列激光雷达帧。
• 通过基于注意力的原型优化，降低错误但高置信度的伪标签权重，提升自训练的鲁棒性。
• 在不依赖源数据或帧序列的前提下，实现在多个3D目标检测域偏移场景下的最先进性能。

提出的方法

• 利用Transformer模块计算类别原型，该模块基于注意力权重识别特征图中的显著区域（感兴趣区域，ROIs）。
• 应用基于熵加权的平均方法，将来自注意力ROIs的特征进行融合，其中预测熵反映分类不确定性。
• 利用所得的注意力原型计算每个ROIs的相似度得分，识别并降低高置信度但错误的伪标签权重。
• 将优化后的伪标签集成到带有迭代元优化的自训练循环中，随时间推移持续提升标签质量。
• 采用单帧输入，避免依赖先前3D域自适应方法中常见的多帧序列。
• 通过检测损失与基于原型的一致性损失相结合的方式，端到端训练检测器，以抑制误差传播。

Figure 1 : Top row: Visual representations of prototype computation. On the left hand side is a depiction of a standard feature aggregation approach for prototype computation. In the case of noisy labels, features corresponding to mis-labeled regions that are not discarded by outlier removal contrib

实验结果

研究问题

• RQ1 当标准原型计算因噪声标签而失效时，如何在无源、无监督的3D目标检测域自适应中提升伪标签质量？
• RQ2 在存在误标注的情况下，基于Transformer的注意力机制能否有效识别并优先选择显著且可靠的区域用于原型计算？
• RQ3 在域自适应过程中，采用注意力加权原型的迭代自训练在多大程度上能减少误差传播？
• RQ4 在多种域偏移场景（如Waymo→KITTI、nuScenes→KITTI）下，该方法与现有SOTA方法相比，mAP表现如何？
• RQ5 当从较小数据集向较大数据集迁移时，该方法是否依然有效？性能是否受限于数据规模差异？

主要发现

• 在Waymo→KITTI域偏移任务中，该方法实现了71.56%的3D mAP，较直接迁移（DT）方法提升12.5%，并优于先前SOTA方法。
• 在nuScenes→KITTI偏移任务中，该方法在困难样本上达到45.86%的mAP，展现出对多样化域差距的鲁棒性。
• 迭代训练方案带来持续的mAP提升：在Waymo→KITTI任务中，元迭代第1轮mAP为57.76%，至第4轮提升至71.56%。
• IoU与置信度的可视化显示，适应后错误标签的置信度显著降低（c < 0.25），而正确标签则高度置信，表明伪标签质量得到明显改善。
• 消融实验表明，完整方法（结合Transformer与熵加权平均）性能最佳，优于平均池化、自注意力和基础Transformer基线模型。
• 当从大规模、标签丰富的数据集（如Waymo）迁移到小规模、标签稀疏的数据集（如KITTI）时，该方法最为有效；而从较小数据集向更大数据集迁移时，性能增益逐渐减小。

Figure 2 : 3D bounding box predictions of the object detector [ 28 ] trained on Waymo [ 31 ] data and tested on KITTI [ 8 ] . Ground truth annotations are in green and predictions are in red. Thresholding (b) fails to remove all false positives present in (a). Self-training with these pseudo-labels