[论文解读] Look Around and Refer: 2D Synthetic Semantics Knowledge Distillation for 3D Visual Grounding

Eslam Mohamed Bakr, Yasmeen Alsaedy+1 more|arXiv (Cornell University)|Nov 25, 2022

Multimodal Machine Learning Applications被引用 13

一句话总结

本文提出了一种名为 Look Around and Refer (LAR) 的新型 3D 视觉定位框架，通过利用多视角 2D 图像生成器从 3D 点云中合成 2D 语义线索，增强了 3D 表示学习，从而无需真实 2D 输入。LAR 在 Nr3D、Sr3D 和 ScanRefer 上均取得了最先进性能，相比现有方法最高提升 5.0%，且无需额外 2D 数据；甚至在性能上超越了使用真实 2D 图像的模型 11.7%。

ABSTRACT

The 3D visual grounding task has been explored with visual and language streams comprehending referential language to identify target objects in 3D scenes. However, most existing methods devote the visual stream to capturing the 3D visual clues using off-the-shelf point clouds encoders. The main question we address in this paper is "can we consolidate the 3D visual stream by 2D clues synthesized from point clouds and efficiently utilize them in training and testing?". The main idea is to assist the 3D encoder by incorporating rich 2D object representations without requiring extra 2D inputs. To this end, we leverage 2D clues, synthetically generated from 3D point clouds, and empirically show their aptitude to boost the quality of the learned visual representations. We validate our approach through comprehensive experiments on Nr3D, Sr3D, and ScanRefer datasets and show consistent performance gains compared to existing methods. Our proposed module, dubbed as Look Around and Refer (LAR), significantly outperforms the state-of-the-art 3D visual grounding techniques on three benchmarks, i.e., Nr3D, Sr3D, and ScanRefer. The code is available at https://eslambakr.github.io/LAR.github.io/.

研究动机与目标

• 为解决 3D 视觉定位模型在训练或推理过程中依赖真实 2D 图像所带来的局限性，从而限制其在真实世界中的部署。
• 探究从 3D 点云中衍生出的合成 2D 表示是否能有效增强 3D 表示学习。
• 开发一种方法，通过整合 2D 语义信息来融合 3D 视觉流，而无需额外的 2D 输入，从而支持更广泛的应用场景。
• 仅使用 3D 点云和合成的 2D 信号，在 3D 视觉定位基准上实现最先进性能。

提出的方法

• 一个 2D 合成图像生成器（SIG）模块，通过在场景中每个物体周围设置虚拟相机，将 3D 点云投影为多视角 2D 图像。
• SIG 模块采用基于高度的优先级机制，在 2D 网格投影过程中解决点冲突问题，从而提升视觉保真度。
• 一种基于多模态 Transformer 的架构 LAR，将 3D 点云特征与合成 2D 图像特征进行融合，实现联合视觉-语言表征学习。
• 该方法采用知识蒸馏技术，将丰富的 2D 语义知识迁移至 3D 流中，从而提升 3D 表示质量。
• 在训练过程中，随机丢弃相机以模拟相机故障，提升对相机变化的鲁棒性。
• 模型使用物体提议进行训练与评估，且兼容基于检测的提议。

实验结果

研究问题

• RQ1 从 3D 点云生成的合成 2D 图像是否能在无需真实 2D 输入的情况下，有效提升 3D 视觉定位性能？
• RQ2 2D 合成语义的整合在相机丢失或视角变化条件下，对 3D 表示的鲁棒性有何影响？
• RQ3 仅使用 3D 点云与合成 2D 监督的 3D 模型，在训练和推理阶段，其性能在多大程度上能超越使用真实 2D 图像的模型？
• RQ4 所提出方法在具有不同物体模糊性和干扰物密度水平的多种 3D 视觉定位基准上，泛化能力如何？

主要发现

• 在 Sr3D 基准上，LAR 达到了 59.35% 的平均 IoU，创下新的最先进结果。
• 在 ScanRefer 基准上，LAR 达到 54.6% 的平均 IoU，相比仅使用 3D 点云的先前方法提升 2.3%。
• 在 Nr3D 上，LAR 相比最接近的 3D 仅方法提升 5.0%，相比 SAT 提升 1.6%，尽管未使用真实 2D 图像。
• 在相同变体上，LAR 超过 SAT-GT（使用真实 2D 图像和类别标签）11.7%（62% vs. 50.3%），证明了合成 2D 知识的有效性。
• 在零样本相机丢失设置下，LAR 仍保持强劲性能，单相机丢失时准确率仅降至 40.15%，显示出对相机变化的强鲁棒性。
• 定性分析表明，该方法在模糊、依赖视角的描述上泛化良好，但部分失败案例由投影冲突或物体遮挡导致。