[论文解读] Diffusion-SS3D: Diffusion Model for Semi-supervised 3D Object Detection

Cheng-Ju Ho, Chen-Hsuan Tai+3 more|arXiv (Cornell University)|Dec 5, 2023

Advanced Neural Network Applications被引用 4

一句话总结

该论文提出了一种新颖的半监督3D目标检测框架Diffusion-SS3D，通过去噪受损的3D目标尺寸和类别标签分布，利用扩散模型来优化噪声伪标签。通过将扩散模型集成到教师-学生框架中，该方法生成更高质量的伪标签，在ScanNet和SUN RGB-D数据集上实现了SOTA性能，mAP@0.5相比之前的方法提升了6%以上。

ABSTRACT

Semi-supervised object detection is crucial for 3D scene understanding, efficiently addressing the limitation of acquiring large-scale 3D bounding box annotations. Existing methods typically employ a teacher-student framework with pseudo-labeling to leverage unlabeled point clouds. However, producing reliable pseudo-labels in a diverse 3D space still remains challenging. In this work, we propose Diffusion-SS3D, a new perspective of enhancing the quality of pseudo-labels via the diffusion model for semi-supervised 3D object detection. Specifically, we include noises to produce corrupted 3D object size and class label distributions, and then utilize the diffusion model as a denoising process to obtain bounding box outputs. Moreover, we integrate the diffusion model into the teacher-student framework, so that the denoised bounding boxes can be used to improve pseudo-label generation, as well as the entire semi-supervised learning process. We conduct experiments on the ScanNet and SUN RGB-D benchmark datasets to demonstrate that our approach achieves state-of-the-art performance against existing methods. We also present extensive analysis to understand how our diffusion model design affects performance in semi-supervised learning.

研究动机与目标

• 为解决在庞大且多样的3D几何空间中生成高质量伪标签的挑战。
• 提高对未标注3D点云的伪标签可靠性，特别是在模型召回率较低或初始预测质量较差的情况下。
• 探索将扩散模型用作3D目标尺寸和类别标签分布的去噪机制，以提升伪标签质量。
• 将扩散模型整合到教师-学生框架中，通过迭代方式优化伪标签，从而提升半监督学习性能。

提出的方法

• 通过添加高斯噪声来破坏3D目标尺寸和类别标签分布，生成作为扩散模型输入的噪声伪标签。
• 使用扩散模型迭代去噪受损的目标尺寸和类别标签，生成更合理、更可信的边界框预测结果。
• 将扩散模型集成到教师-学生框架中：学生模型在标注数据和伪标签上进行训练，而教师模型则通过扩散采样生成改进后的伪标签。
• 应用最远点采样（FPS）选择具有代表性的3D点作为生成初始噪声边界框候选的中心，提升覆盖范围和召回率。
• 使用指数移动平均（EMA）更新教师模型权重，稳定训练过程中的伪标签生成。
• 在推理阶段，使用训练好的扩散采样器通过去噪随机初始化的目标尺寸和类别标签生成最终预测。

实验结果

研究问题

• RQ1 扩散模型能否通过去噪受损的目标尺寸和类别标签，有效提升半监督3D目标检测中伪标签的质量？
• RQ2 与标准教师-学生方法相比，引入基于扩散的去噪机制如何影响伪标签3D边界框的召回率和准确率？
• RQ3 使用最远点采样（FPS）进行中心选择是否能提升基于扩散的伪标签生成过程的性能与稳定性？
• RQ4 在室内3D检测基准的低数据场景下，扩散模型在多大程度上提升了模型的泛化能力与收敛速度？
• RQ5 在半监督3D目标检测中，扩散模型是否能在长时间训练周期内保持一致的性能提升？

主要发现

• 在ScanNet的5%数据划分上，Diffusion-SS3D相比之前SOTA方法mAP@0.5提升6%以上，在第1000个训练周期达到30.93%的mAP@0.5。
• 模型在训练过程中保持稳定且一致的性能增益，mAP@0.5从第800个周期的22.42%提升至第1000个周期的22.42%，表明学习过程具有鲁棒性。
• 扩散模块显著提升了伪标签质量，第1000个周期时在未标注数据上的召回率@0.5达到44.17%，显著高于3DIoUMatch基线的35.25%。
• 使用FPS进行中心选择相比随机采样性能更优，结合扩散模型后mAP@0.5达到27.9%。
• 消融实验表明，扩散模型对性能贡献显著，结合FPS与扩散组件后，mAP@0.25达到43.5%，mAP@0.5达到27.9%。
• 该方法展现出强大的泛化能力，在ScanNet和SUN RGB-D两个基准上均达到SOTA结果，且在多个评估指标上保持一致的性能提升。