[论文解读] 3DIoUMatch: Leveraging IoU Prediction for Semi-Supervised 3D Object Detection

He Wang, Yezhen Cong+3 more|arXiv (Cornell University)|Dec 8, 2020

Advanced Neural Network Applications参考文献 33被引用 10

一句话总结

3DIoUMatch 提出了一种新颖的半监督 3D 目标检测方法，通过利用预测的 3D IoU 作为定位置信度度量，结合类别感知的自适应过滤机制，提升了伪标签的质量。在仅使用 10% 标注数据的情况下，该方法在 ScanNet 和 SUN-RGBD 数据集上实现了最先进性能，mAP@0.25 提升 7.7%，mAP@0.5 提升 8.5%；同时首次在 KITTI 数据集上实现了半监督 3D 检测，性能超越完全监督基线模型最高达 7.6%。

ABSTRACT

3D object detection is an important yet demanding task that heavily relies on difficult to obtain 3D annotations. To reduce the required amount of supervision, we propose 3DIoUMatch, a novel semi-supervised method for 3D object detection applicable to both indoor and outdoor scenes. We leverage a teacher-student mutual learning framework to propagate information from the labeled to the unlabeled train set in the form of pseudo-labels. However, due to the high task complexity, we observe that the pseudo-labels suffer from significant noise and are thus not directly usable. To that end, we introduce a confidence-based filtering mechanism, inspired by FixMatch. We set confidence thresholds based upon the predicted objectness and class probability to filter low-quality pseudo-labels. While effective, we observe that these two measures do not sufficiently capture localization quality. We therefore propose to use the estimated 3D IoU as a localization metric and set category-aware self-adjusted thresholds to filter poorly localized proposals. We adopt VoteNet as our backbone detector on indoor datasets while we use PV-RCNN on the autonomous driving dataset, KITTI. Our method consistently improves state-of-the-art methods on both ScanNet and SUN-RGBD benchmarks by significant margins under all label ratios (including fully labeled setting). For example, when training using only 10\% labeled data on ScanNet, 3DIoUMatch achieves 7.7% absolute improvement on mAP@0.25 and 8.5% absolute improvement on mAP@0.5 upon the prior art. On KITTI, we are the first to demonstrate semi-supervised 3D object detection and our method surpasses a fully supervised baseline from 1.8% to 7.6% under different label ratios and categories.

研究动机与目标

• 通过实现有效的半监督学习，减少在 3D 目标检测中对昂贵 3D 标注的依赖。
• 解决在复杂 3D 检测任务中，教师-学生框架生成的伪标签噪声过高的问题。
• 通过引入 3D IoU 估计作为定位置信度度量，超越类别概率和置信度分数，提升伪标签质量。
• 设计一种动态的、类别感知的过滤机制，以在高质量标签覆盖与鲁棒性之间取得平衡。
• 首次在 KITTI 数据集上实现半监督 3D 目标检测，并在性能上超越完全监督基线模型。

提出的方法

• 采用教师-学生相互学习框架，利用学生网络从无标注数据中生成伪标签。
• 引入基于置信度的过滤机制，结合预测的类别概率和置信度分数，剔除低质量伪标签。
• 提出一种新颖的 3D IoU 估计模块，作为定位置信度度量，提升对定位不佳提议框的过滤能力。
• 采用两阶段过滤流程：首先使用低 IoU 阈值过滤弱提议；然后采用 IoU 引导的下半部分抑制（LHS）机制，仅移除高度重叠但 IoU 较低的框。
• 在训练阶段用于伪标签过滤，在推理阶段用于非极大值抑制（NMS），均使用估计的 IoU，从而提升检测精度。
• 在室内数据集（ScanNet、SUN-RGBD）上结合 VoteNet 实现，在 KITTI 上结合 PV-RCNN 实现，并将 IoU 模块集成到检测头中。

Figure 1: 3DIoUMatch pipeline at semi-supervised training stage. We adopt as our backbone an extended version of VoteNet with an additional 3D IoU estimation module. For SSL, we utilize a teacher-student mutual learning framework, composed of a learnable student taking strongly augmented input data

实验结果

研究问题

• RQ1 3D IoU 估计能否有效作为定位置信度度量，从而在半监督 3D 目标检测中提升伪标签质量？
• RQ2 如何设计一种过滤机制，以在噪声伪标签中实现高质量标签覆盖与鲁棒性之间的平衡？
• RQ3 类别感知的自适应阈值策略是否能优于固定阈值或基于 NMS 的过滤方法？
• RQ4 将 3D IoU 估计引入是否能在涵盖室内与室外场景的多样化 3D 检测基准上带来一致的性能提升？
• RQ5 能否成功将半监督 3D 目标检测扩展至自动驾驶数据集（如 KITTI），而此前研究尚未实现此类结果？

主要发现

• 在仅使用 10% 标注数据的 ScanNet 上，3DIoUMatch 相较于之前的 SOTA 方法 SESS，mAP@0.25 提升 7.7%，mAP@0.5 提升 8.5%。
• 在使用 5% 标注数据的 SUN-RGB-D 上，3DIoUMatch 相较于 SESS，mAP@0.25 提升 4.8%，mAP@0.5 提升 8.0%。
• 在 KITTI 上，3DIoUMatch 是首个实现半监督 3D 目标检测的方法，且在不同标签比例和类别下，性能超越完全监督基线模型 1.8% 至 7.6%。
• 所提出的 IoU 引导的下半部分抑制（LHS）方法优于标准 IoU 引导的 NMS，能够在保留更多高质量提议的同时有效过滤噪声。
• 在无标注数据上使用伪标签监督投票预测或置信度分数会降低性能，表明此类监督在缺乏精细过滤时并不可靠。
• 消融实验验证了引入 IoU 估计的 3DIoUMatch 方法能显著提升检测精度并减少误报，其定性结果在 ScanNet 和 SUN-RGB-D 上均有体现。

Figure 2: 3DIoUMatch results with different IoU thresholds on ScanNet 10%.