[论文解读] Loc3R-VLM: Language-based Localization and 3D Reasoning with Vision-Language Models
Loc3R-VLM 通过单目视频为 2D 视觉-语言模型提供显式的三维理解,利用全局 BEV 布局和自我定向的情境建模,并受到相机位姿先验的引导,在语言驱动的定位和三维问答方面达到最先进的结果。
Multimodal Large Language Models (MLLMs) have made impressive progress in connecting vision and language, but they still struggle with spatial understanding and viewpoint-aware reasoning. Recent efforts aim to augment the input representations with geometric cues rather than explicitly teaching models to reason in 3D space. We introduce Loc3R-VLM, a framework that equips 2D Vision-Language Models with advanced 3D understanding capabilities from monocular video input. Inspired by human spatial cognition, Loc3R-VLM relies on two joint objectives: global layout reconstruction to build a holistic representation of the scene structure, and explicit situation modeling to anchor egocentric perspective. These objectives provide direct spatial supervision that grounds both perception and language in a 3D context. To ensure geometric consistency and metric-scale alignment, we leverage lightweight camera pose priors extracted from a pre-trained 3D foundation model. Loc3R-VLM achieves state-of-the-art performance in language-based localization and outperforms existing 2D- and video-based approaches on situated and general 3D question-answering benchmarks, demonstrating that our spatial supervision framework enables strong 3D understanding. Project page: https://kevinqu7.github.io/loc3r-vlm
研究动机与目标
- 在多模态大模型中激发对空间理解和视角感知推理的鲁棒性,超越基于二维输入的能力。
- 开发结合全局场景布局重建与显式情境建模的三维感知学习框架。
- 以轻量级相机位姿先验从预训练的三维基础模型实现对感知和语言的度量尺度对齐。
- 证明显式的空间监督能在室内基准上提升基于语言的定位与三维问答的表现。
提出的方法
- 从预训练的三维基础模型(CUT3R)获取每帧潜在相机位姿先验并加入到 VLM 输入序列中。
- 通过全局布局重建目标对视觉标记进行鸟瞰视图(BEV)空间对齐,以获得整体场景表示。
- 引入带有专用 <Pos> 与 <Ori> 令牌的情境建模,从语言中进行定位与视角感知推理。
- 使用带高斯负对数似然损失的概率性 BEV 坐标来监督标记对齐与不确定性(L_BEV)。
- 将方向离散化为 36 个区间,并使用包裹高斯目标及 KL 散度进行监督;通过圆形软最大恢复连续方向。
- 联合优化标准语言建模损失、BEV 损失和情境损失(L_total = L_CE + lambda_BEV L_BEV + lambda_sit L_sit)。
- 在 ScanQA、SQA3D、ScanNet、VSI-Bench 数据上对一个基于 LLaVA 的视频增强 VLM 进行微调,训练阶段仅使用所有位姿先验;推理阶段仅使用原始单目视频。
![Figure 2 : Overview of Loc3R-VLM . Our framework takes a monocular video as input and augments the vision token sequence with per-frame latent camera pose priors extracted from the 3D foundation model CUT3R [ wang2025cut3r ] . The model is jointly trained using two spatial objectives: (1) layout rec](https://ar5iv.labs.arxiv.org/html/2603.18002/assets/x2.png)
实验结果
研究问题
- RQ1一个 2D 视觉-语言模型能否通过显式的全局布局和情境监督从单目视频中获得鲁棒的三维空间理解?
- RQ2将相机位姿先验与 BEV grounding 结合,是否能在基于语言的任务中提升度量尺度的定位与视角感知推理?
- RQ3显式定位监督对语言驱动的定位(SQA3D)与三维问答基准(VSI-Bench、ScanQA、SQA3D、MSQA、Beacon3D)的表现有何影响?
- RQ4联合训练 BEV 布局、情境令牌与语言建模对总体性能有何影响?
主要发现
- Loc3R-VLM 在 SQA3D 上实现了基于语言的定位的最新状态,超越了 2D MLLMs 以及许多基于三维的方法。
- 在定位指标上,本方法在 SQA3D 表中达到 Acc@0.5m、Acc@1.0m、Acc@15°、Acc@30° 分别为 42.6、75.9、38.4、63.0(表格:SQA3D)。
- Loc3R-VLM 在 VSI-Bench 的三维问答方面设定了新的最先进水平,在视角相关的子任务上表现强劲。
- Loc3R-VLM 在 SQA3D 与 ScanQA 上达到二维 MLLMs 的顶尖水平;在 SQA3D 上超过了许多三维 MLLMs。
- 消融研究表明,增加 BEV 布局和相机位姿先验显著提升了定位准确性与度量对齐。
- 在 3DQA 基准(SQA3D、ScanQA、MSQA、Beacon3D)中,Loc3R-VLM 取得领先或具有竞争力的分数,特别是在空间与视角敏感类别上。

阅读本论文
在 Nubint 阅读器中打开原文,边读边就任意段落提问。
在 Nubint 中阅读本论文本解读由 AI 根据论文原文生成,引用前请核对原文。