[论文解读] Bottom Up Top Down Detection Transformers for Language Grounding in Images and Point Clouds

Ayush Jain, Nikolaos Gkanatsios+2 more|arXiv (Cornell University)|Dec 16, 2021

Multimodal Machine Learning Applications被引用 8

一句话总结

该论文提出了一种名为BUTD-DETR的新颖视觉-语言模型，通过联合关注语言、视觉特征以及来自预训练检测器的候选框，实现对2D图像和3D点云中指代性语句的定位，且不受检测器漏检的限制。该模型在3D基准测试中达到最先进性能（SR3D提升12.6%，NR3D提升11.6%，ScanRefer提升6.3%），通过利用检测提示、候选框注意力机制和改进的对齐损失实现；同时在2D任务中保持了具有竞争力的表现，训练速度比MDETR快50%。

ABSTRACT

Most models tasked to ground referential utterances in 2D and 3D scenes learn to select the referred object from a pool of object proposals provided by a pre-trained detector. This is limiting because an utterance may refer to visual entities at various levels of granularity, such as the chair, the leg of the chair, or the tip of the front leg of the chair, which may be missed by the detector. We propose a language grounding model that attends on the referential utterance and on the object proposal pool computed from a pre-trained detector to decode referenced objects with a detection head, without selecting them from the pool. In this way, it is helped by powerful pre-trained object detectors without being restricted by their misses. We call our model Bottom Up Top Down DEtection TRansformers (BUTD-DETR) because it uses both language guidance (top down) and objectness guidance (bottom-up) to ground referential utterances in images and point clouds. Moreover, BUTD-DETR casts object detection as referential grounding and uses object labels as language prompts to be grounded in the visual scene, augmenting supervision for the referential grounding task in this way. The proposed model sets a new state-of-the-art across popular 3D language grounding benchmarks with significant performance gains over previous 3D approaches (12.6% on SR3D, 11.6% on NR3D and 6.3% on ScanRefer). When applied in 2D images, it performs on par with the previous state of the art. We ablate the design choices of our model and quantify their contribution to performance. Our code and checkpoints can be found at the project website https://butd-detr.github.io.

研究动机与目标

• 解决现有语言定位模型依赖预检测候选框所带来的局限性，这些候选框可能遗漏细粒度或罕见物体。
• 在检测器常对小型、遮挡或罕见物体失效的3D场景中实现鲁棒的定位。
• 通过整合自下而上的候选框与自上而下的语言引导，提升2D和3D场景下的性能。
• 通过端到端训练并使用检测提示作为监督信号，减少对真实框标注的依赖。
• 证明通过多流注意力机制实现的调制检测方法，能够有效从2D视觉输入泛化到3D点云输入。

提出的方法

• 该模型采用多流Transformer编码器-解码器架构，同时关注输入语言、视觉特征以及来自预训练检测器的物体候选框。
• 引入检测提示监督信号，将物体类别标签作为语言提示，用于在视觉场景中进行定位。
• 模型通过检测头直接预测边界框，而非从预定义的候选框池中选择，从而避免了框瓶颈问题。
• 应用改进的边界框-词段对齐损失，以减少定位监督中的噪声。
• 在视觉流中使用可变形注意力机制，降低计算成本，实现比MDETR更快的训练速度。
• 模型在大规模图像-语言数据集上进行预训练，使用检测提示作为监督信号，并在指代定位基准上进行微调。

实验结果

研究问题

• RQ1 一个同时关注语言和来自预训练检测器的候选框的定位模型，是否能在3D语言定位任务中超越依赖候选框的基线模型？
• RQ2 将检测提示作为监督信号，能否有效提升3D和2D场景下的定位性能？
• RQ3 对候选框的关注在多大程度上提升了对小型、遮挡或罕见物体的定位能力？
• RQ4 MDETR的设计能否通过适当的视觉编码器和解码器修改，有效扩展到3D点云输入？
• RQ5 检测提示、框流注意力机制以及改进的对齐损失对整体性能的相对贡献分别是什么？

主要发现

• 与先前的3D方法相比，BUTD-DETR在SR3D基准上的平均召回率绝对提升了12.6%。
• 在NR3D基准上，性能绝对提升了11.6%，显著优于先前方法。
• 在ScanRefer基准上，性能相比先前方法提升了6.3%，展现出强大的泛化能力。
• 在2D任务中，该模型在RefCOCO、RefCOCO+和Flickr30k数据集上取得了具有竞争力的表现，性能与MDETR相当，但训练时间不足其一半。
• 消融实验表明，检测提示贡献了2.4%的准确率提升，框流注意力贡献3.1%，对比损失设计额外带来2.1%的准确率增益。
• 即使不使用候选框或检测提示，该模型也显著优于直接的MDETR-3D实现，证明了所提组件的有效性。