[论文解读] CoDA: Collaborative Novel Box Discovery and Cross-modal Alignment for Open-vocabulary 3D Object Detection

Yang Cao, Yihan Zeng+2 more|arXiv (Cornell University)|Oct 4, 2023

Advanced Neural Network Applications被引用 7

一句话总结

本文提出 CoDA，一种用于开放词汇 3D 物体检测的统一框架，通过联合利用 3D 几何信息和 2D 语义先验来发现新 3D 物体框，并通过一种发现驱动的跨模态对齐模块，在点云、图像和文本之间对齐跨模态特征。CoDA 在 SUN-RGBD 和 ScanNet 数据集上相较于最佳基线方法实现了 80% 的 mAP 提升。

ABSTRACT

Open-vocabulary 3D Object Detection (OV-3DDet) aims to detect objects from an arbitrary list of categories within a 3D scene, which remains seldom explored in the literature. There are primarily two fundamental problems in OV-3DDet, i.e., localizing and classifying novel objects. This paper aims at addressing the two problems simultaneously via a unified framework, under the condition of limited base categories. To localize novel 3D objects, we propose an effective 3D Novel Object Discovery strategy, which utilizes both the 3D box geometry priors and 2D semantic open-vocabulary priors to generate pseudo box labels of the novel objects. To classify novel object boxes, we further develop a cross-modal alignment module based on discovered novel boxes, to align feature spaces between 3D point cloud and image/text modalities. Specifically, the alignment process contains a class-agnostic and a class-discriminative alignment, incorporating not only the base objects with annotations but also the increasingly discovered novel objects, resulting in an iteratively enhanced alignment. The novel box discovery and crossmodal alignment are jointly learned to collaboratively benefit each other. The novel object discovery can directly impact the cross-modal alignment, while a better feature alignment can, in turn, boost the localization capability, leading to a unified OV-3DDet framework, named CoDA, for simultaneous novel object localization and classification. Extensive experiments on two challenging datasets (i.e., SUN-RGBD and ScanNet) demonstrate the effectiveness of our method and also show a significant mAP improvement upon the best-performing alternative method by 80%. Codes and pre-trained models are released on the project page.

研究动机与目标

• 解决在仅有限基础类别标注的情况下，检测训练期间未见过的新 3D 物体类别这一挑战。
• 克服在开放词汇设置下（类别无界）定位和分类新 3D 物体的双重挑战。
• 通过在训练期间直接从 3D 和 2D 先验中学习新物体发现，消除对外部 2D 开放词汇检测模型的依赖。
• 设计一种联合学习框架，通过相互反馈增强新物体定位与跨模态特征对齐能力。
• 在推理阶段仅使用点云实现端到端 3D 检测，无需为分类提供 2D 图像输入。

提出的方法

• 提出一种 3D 新物体发现（3D-NOD）策略，利用点云特征中的 3D 框几何先验和 CLIP 的 2D 语义先验，在训练期间生成新物体的伪 3D 框标签。
• 设计一种发现驱动的跨模态对齐（DCMA）模块，利用基础类别和发现的新物体框，对点云、图像和文本特征进行类别无关与类别区分的特征对齐。
• 实现一种基于框的特征蒸馏机制，在无类别监督的情况下，对齐 3D 和 2D 特征在物体提议层面的表示。
• 使用对比学习将 3D 物体特征与 CLIP 文本特征在大规模开放词汇范围内对齐，同时包含标注的基础类别和发现的新类别。
• 以端到端方式联合优化 3D-NOD 和 DCMA，其中发现的框提升对齐效果，而更好的对齐又进一步增强定位精度。
• 仅使用基础类别的 3D 点云标注进行模型训练，并通过伪标签利用 CLIP 的零样本能力来处理新类别。

实验结果

研究问题

• RQ1 是否可以在不依赖外部 2D 检测模型的情况下，有效将 3D 物体检测扩展到开放词汇场景？
• RQ2 如何仅利用有限的 3D 标注和视觉-语言模型的跨模态先验来发现新 3D 物体框？
• RQ3 新物体发现与跨模态对齐的联合学习在多大程度上能提升基础类别和新类别上的检测性能？
• RQ4 统一框架是否能够仅使用点云输入，在推理阶段同时实现准确的定位与新 3D 物体的零样本分类？
• RQ5 新物体框发现与跨模态对齐之间的协同反馈在多大程度上提升了整体检测性能？

主要发现

• CoDA 在 SUN-RGBD 和 ScanNet 两个数据集上相较于最佳性能的替代方法实现了 80% 的 mAP 相对提升。
• 在 ScanNetv2 上，CoDA 仅使用点云作为输入，实现了 46.30% 的平均 AP，优于需要 2D 图像输入进行分类的方法。
• 在定性比较中，该方法成功检测到之前未见过的类别，如梳妆台和床头柜，展示了对新物体的强大泛化能力。
• 在与 OV-3DET [15] 相同设置下的公平比较中，CoDA 在 20 个类别上的平均 AP 高出 1.3 个百分点，验证了其优越性，尽管未依赖外部 2D 检测模型。
• 消融研究证实，3D-NOD 和 DCMA 均对性能有显著贡献，且通过协同学习实现相互增强。
• CoDA 在基础类别和新类别上均达到最先进性能，在两个基准数据集的所有 AP 和 AR 指标上均表现出一致的提升。