[论文解读] Contextual Modeling for 3D Dense Captioning on Point Clouds

Yufeng Zhong, Xu Long+2 more|arXiv (Cornell University)|Oct 8, 2022

Multimodal Machine Learning Applications被引用 8

一句话总结

本文提出了一种新颖的3D密集描述上下文建模范式，通过引入点云聚类特征（超点）作为上下文信息，以提升描述质量。通过引入全局上下文建模（GCM）和局部上下文建模（LCM）模块，该方法同时捕捉全局场景上下文和局部邻域关系，在ScanRefer数据集上实现了SOTA性能，C@0.5IoU达到54.30%。

ABSTRACT

3D dense captioning, as an emerging vision-language task, aims to identify and locate each object from a set of point clouds and generate a distinctive natural language sentence for describing each located object. However, the existing methods mainly focus on mining inter-object relationship, while ignoring contextual information, especially the non-object details and background environment within the point clouds, thus leading to low-quality descriptions, such as inaccurate relative position information. In this paper, we make the first attempt to utilize the point clouds clustering features as the contextual information to supply the non-object details and background environment of the point clouds and incorporate them into the 3D dense captioning task. We propose two separate modules, namely the Global Context Modeling (GCM) and Local Context Modeling (LCM), in a coarse-to-fine manner to perform the contextual modeling of the point clouds. Specifically, the GCM module captures the inter-object relationship among all objects with global contextual information to obtain more complete scene information of the whole point clouds. The LCM module exploits the influence of the neighboring objects of the target object and local contextual information to enrich the object representations. With such global and local contextual modeling strategies, our proposed model can effectively characterize the object representations and contextual information and thereby generate comprehensive and detailed descriptions of the located objects. Extensive experiments on the ScanRefer and Nr3D datasets demonstrate that our proposed method sets a new record on the 3D dense captioning task, and verify the effectiveness of our raised contextual modeling of point clouds.

研究动机与目标

• 解决现有3D密集描述方法仅关注对象间关系而忽略非对象细节和背景上下文的局限性。
• 通过整合点云聚类特征（超点）的上下文信息，提升3D密集描述的质量与准确性。
• 提出一种自粗到精的上下文建模策略，通过全局与局部上下文增强对象表征能力。
• 证明整合背景与环境上下文可生成更全面、更精确的3D点云对象描述。

提出的方法

• 使用检测器提取候选对象，并通过点云采样与聚类生成超点，以捕捉非对象细节与背景环境。
• 提出全局上下文建模（GCM）模块，建模所有候选对象与超点之间的关系，以获取整体场景上下文。
• 设计局部上下文建模（LCM）模块，聚焦于目标对象的邻近对象与超点，以丰富局部空间与语义特征。
• 融合GCM与LCM特征，使模型能够结合全局场景理解与局部对象上下文，生成更详细、更准确的描述。
• 在GCM与LCM中利用消息传递与注意力机制，有效捕捉复杂关系与依赖性。
• 采用对比学习与描述生成损失联合训练端到端模型，以同步优化定位与描述性能。

实验结果

研究问题

• RQ1 将点云聚类特征（超点）作为上下文信息引入，能否提升3D密集描述的质量？
• RQ2 同时建模全局场景上下文与局部邻域上下文，对目标定位与描述的准确性有何影响？
• RQ3 非对象细节与背景环境在生成更精确、更全面描述中的贡献程度如何？
• RQ4 所提出的自粗到精上下文建模策略（GCM + LCM）是否优于仅建模对象间关系的方法？
• RQ5 超点的整合能否降低涉及多个相似对象时描述的歧义性？

主要发现

• 所提方法在ScanRefer数据集上实现了54.30% C@0.5IoU的新SOTA性能，显著优于先前方法。
• 消融实验表明，GCM与LCM模块均独立贡献，且联合使用时性能提升最大。
• 引入超点可提升全局上下文建模效果，与仅使用对象相比，GCM中C@0.5mAP提升2.1%。
• LCM模块增强了局部空间推理能力，使模型能生成如“从左数第二把椅子”等精确描述，而非模糊术语。
• 定性结果表明，模型能生成更详细的描述，如“两把沙发之间”和“在床上”，而先前模型无法捕捉此类细节。
• 该方法在Nr3D上也表现出良好的泛化能力，在所有指标上均取得更优结果，证实其在多样化3D场景中的有效性。