Skip to main content
QUICK REVIEW

[논문 리뷰] Loc3R-VLM: Language-based Localization and 3D Reasoning with Vision-Language Models

Kevin Qu, Haozhe Qi|arXiv (Cornell University)|2026. 03. 18.
Multimodal Machine Learning ApplicationsComputer Science인용 수 0
한 줄 요약

Loc3R-VLM은 모노큘러 비디오로부터 3D 이해를 명시적으로 제공하는 2D 비전-언어 모델에 글로벌 레이아웃과 명시적 상황 모델링을 학습으로 가능하게 하여, 카메라 포즈 priors에 의해 가이드되어 언어 기반 로컬라이제이션과 3D QA에서 최첨단 결과를 달성한다.

ABSTRACT

Multimodal Large Language Models (MLLMs) have made impressive progress in connecting vision and language, but they still struggle with spatial understanding and viewpoint-aware reasoning. Recent efforts aim to augment the input representations with geometric cues rather than explicitly teaching models to reason in 3D space. We introduce Loc3R-VLM, a framework that equips 2D Vision-Language Models with advanced 3D understanding capabilities from monocular video input. Inspired by human spatial cognition, Loc3R-VLM relies on two joint objectives: global layout reconstruction to build a holistic representation of the scene structure, and explicit situation modeling to anchor egocentric perspective. These objectives provide direct spatial supervision that grounds both perception and language in a 3D context. To ensure geometric consistency and metric-scale alignment, we leverage lightweight camera pose priors extracted from a pre-trained 3D foundation model. Loc3R-VLM achieves state-of-the-art performance in language-based localization and outperforms existing 2D- and video-based approaches on situated and general 3D question-answering benchmarks, demonstrating that our spatial supervision framework enables strong 3D understanding. Project page: https://kevinqu7.github.io/loc3r-vlm

연구 동기 및 목표

  • 다양한 멀티모달 LLM에서 2D 입력을 넘어 견고한 공간 이해와 시점 인식 추론을 촉진한다.
  • 글로벌 장면 레이아웃 재구성 및 명시적 상황 모델링을 결합한 3D 인식 학습 프레임워크를 개발한다.
  • 경량 카메라 포즈 priors를 이용한 기본 3D 파운데이션 모델로부터의 메트릭 스케일 근거화를 통해 지각과 언어를 연결한다.
  • 실명시적 공간 감독이 언어 기반 로컬라이제이션 및 3D 질의응답의 성능을 실내 벤치마크에서 향상시킨다는 것을 입증한다.

제안 방법

  • 사전 학습된 3D 파운데이션 모델(CUT3R)로부터 프레임별 잠재 카메라 포즈 priors를 VLM 입력 시퀀스에 주입한다.
  • 전역 레이아웃 재구성 목표로 BEV 공간에서 비전 토큰을 바디-오브-비뷰(해당)로 고정하여 전체적인 장면 표현을 위한 ground를 형성한다.
  • 전용 <Pos> 및 <Ori> 토큰을 가진 Situation Modeling을 도입하여 에이전트를 로컬라이즈하고 언어로부터 시점 인식 추론을 수행한다.
  • 토큰 grounding 및 불확실성을 감독하기 위해 가우시안 음의 로그 우도 손실(L_BEV)로 확률적 BEV 좌표를 사용한다.
  • 방향을 36개 빈으로 이산화하고 랩핑된 가우시안 타깃으로 KL-divergence로 감독; 원활한 소거를 통한 원활한 순환 소프트-아그맥스(circular soft-argmax)로 연속 방향 복원
  • 전형적인 언어 모델링 손실과 BEV 및 Situation 손실을 함께 최적화(L_total = L_CE + lambda_BEV L_BEV + lambda_sit L_sit).
  • ScanQA, SQA3D, ScanNet, VSI-Bench 데이터의 혼합에서 LLaVA 기반 비디오 기반 VLM을 미세 조정하며, 모든 포즈 priors는 학습 중에만 사용되고 추론시에는 원시 단안 비디오만 사용한다.
Figure 2 : Overview of Loc3R-VLM . Our framework takes a monocular video as input and augments the vision token sequence with per-frame latent camera pose priors extracted from the 3D foundation model CUT3R [ wang2025cut3r ] . The model is jointly trained using two spatial objectives: (1) layout rec
Figure 2 : Overview of Loc3R-VLM . Our framework takes a monocular video as input and augments the vision token sequence with per-frame latent camera pose priors extracted from the 3D foundation model CUT3R [ wang2025cut3r ] . The model is jointly trained using two spatial objectives: (1) layout rec

실험 결과

연구 질문

  • RQ1단안 비디오를 사용한 명시적 글로벌 레이아웃 및 상황 감독으로 2D 비전-언어 모델이 견고한 3D 공간 이해를 획득할 수 있는가?
  • RQ2BEV 근거화와 카메라 포즈 priors의 통합이 메트릭 스케일 로컬라이제이션 및 시점 인식 추론을 향상시키는가?
  • RQ3명시적 로컬라이제이션 감독이 언어 기반 로컬라이제이션(SQA3D) 및 3D QA 벤치마크(VSI-Bench, ScanQA, SQA3D, MSQA, Beacon3D)에서 성능에 어떤 영향을 미치는가?
  • RQ4BEV 레이아웃, 상황 토큰, 언어 모델링의 공동 학습이 전체 성능에 미치는 영향은 무엇인가?

주요 결과

  • Loc3R-VLM은 SQA3D에서 최첨단의 언어 기반 로컬라이제이션 성능을 달성하여 2D MLLMs 및 다수의 3D 기반 방법을 능가한다.
  • 로컬라이제이션 지표에서 Ours는 42.6% Acc@0.5m, 75.9% Acc@1.0m, 38.4% Acc@15°, 및 63.0% Acc@30°를 보여준다(SQA3D 표).
  • Loc3R-VLM은 VSI-Bench 3D QA에서 새로운 최첨단 성능을 설정하며 시점 의존 하위 작업에서 강한 성능을 보인다.
  • Loc3R-VLM은 SQA3D 및 ScanQA에서 2D MLLMs 중 최상위 성능에 도달하며, 다수의 3D MLLMs를 상회하는 성능을 SQA3D에서 보인다.
  • 변형 연구에서 BEV 레이아웃과 카메라 포즈 priors를 추가하면 로컬라이제이션 정확도와 메트릭 근거화가 크게 향상된다.
  • 3D QA 벤치마크(SQA3D, ScanQA, MSQA, Beacon3D) 전반에서 Loc3R-VLM은 공간 및 시점 민감 카테고리에서 선도적이거나 경쟁력 있는 점수를 달성한다.
Figure 3 : Spatial Supervision Framework introduces complementary training signals. For the layout reconstruction objective, the model learns to ground each vision patch token onto its corresponding BEV coordinate in a cognitive map to capture global scene structure. For localization, dedicated loca
Figure 3 : Spatial Supervision Framework introduces complementary training signals. For the layout reconstruction objective, the model learns to ground each vision patch token onto its corresponding BEV coordinate in a cognitive map to capture global scene structure. For localization, dedicated loca

이 논문 읽기

누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.

누빈트에서 이 논문 읽기

이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.