Skip to main content
QUICK REVIEW

[論文レビュー] Loc3R-VLM: Language-based Localization and 3D Reasoning with Vision-Language Models

Kevin Qu, Haozhe Qi|arXiv (Cornell University)|Mar 18, 2026
Multimodal Machine Learning ApplicationsComputer Science被引用数 0
ひとこと要約

Loc3R-VLM は monocular video を通じてグローバルなレイアウトと明示的な状況モデリングを学習し、カメラ姿勢の事前情報に導かれて、言語ベースのローカライズと 3D QA で最先端の結果を達成する。

ABSTRACT

Multimodal Large Language Models (MLLMs) have made impressive progress in connecting vision and language, but they still struggle with spatial understanding and viewpoint-aware reasoning. Recent efforts aim to augment the input representations with geometric cues rather than explicitly teaching models to reason in 3D space. We introduce Loc3R-VLM, a framework that equips 2D Vision-Language Models with advanced 3D understanding capabilities from monocular video input. Inspired by human spatial cognition, Loc3R-VLM relies on two joint objectives: global layout reconstruction to build a holistic representation of the scene structure, and explicit situation modeling to anchor egocentric perspective. These objectives provide direct spatial supervision that grounds both perception and language in a 3D context. To ensure geometric consistency and metric-scale alignment, we leverage lightweight camera pose priors extracted from a pre-trained 3D foundation model. Loc3R-VLM achieves state-of-the-art performance in language-based localization and outperforms existing 2D- and video-based approaches on situated and general 3D question-answering benchmarks, demonstrating that our spatial supervision framework enables strong 3D understanding. Project page: https://kevinqu7.github.io/loc3r-vlm

研究の動機と目的

  • 多 modal LLM に対して 2D 入力を超えた堅牢な空間理解と視点認識を促進する。
  • グローバルなシーンレイアウト再構成と明示的な状況モデリングを組み合わせた 3D 意識学習フレームワークを開発する。
  • プリトレーニング済みの 3D 基盤モデルからの軽量なカメラ姿勢事前情報を用いて、知覚と言語をメートルスケールでグラウンドする。
  • 明示的な空間監視が言語ベースのローカリゼーションと 3D 質問応答の性能を室内ベンチマークで向上させることを実証する。

提案手法

  • プリトレーニング済みの 3D 基盤モデル (CUT3R) からのフレームごとの潜在カメラ姿勢事前情報を VLM 入力列に組み込む。
  • Global Layout Reconstruction の目的で訓練し、ビルード・ビュー(BEV)空間でのビジョントークンを地上化して全体的なシーン表現を得る。
  • 状況モデリングを導入し、専用の <Pos> および <Ori> トークンを用いてエージェントを局所化し、言語からの視点認識を行う。
  • 確率的 BEV 座標と Gaussian negative log-likelihood Loss によってトークンのグラウンドと不確実性を監督する(L_BEV)。
  • 方位を 36 ビンに離散化し、ラップされた Gaussian 目標を KL 発散で監督;円形の soft-argmax によって連続方位を復元する。
  • 損失は標準的な言語モデリング損失と BEV / 状況損失を併用して最適化する(L_total = L_CE + lambda_BEV L_BEV + lambda_sit L_sit)。
  • ScanQA、SQA3D、ScanNet、VSI-Bench データの混合で LLaVA ベースのビデオ強化 VLM をファインチューニングする。訓練時のみ全ての姿勢事前情報を利用可能とし、推論時は生のモノクロ視 video のみを使用する。
Figure 2 : Overview of Loc3R-VLM . Our framework takes a monocular video as input and augments the vision token sequence with per-frame latent camera pose priors extracted from the 3D foundation model CUT3R [ wang2025cut3r ] . The model is jointly trained using two spatial objectives: (1) layout rec
Figure 2 : Overview of Loc3R-VLM . Our framework takes a monocular video as input and augments the vision token sequence with per-frame latent camera pose priors extracted from the 3D foundation model CUT3R [ wang2025cut3r ] . The model is jointly trained using two spatial objectives: (1) layout rec

実験結果

リサーチクエスチョン

  • RQ12D Vision-Language Model は、グローバルなレイアウトと状況監督を明示的に用いることで monocular video から堅牢な 3D 空間理解を獲得できるか。
  • RQ2姿勢事前情報と BEV グラウンドを統合することで、メートルスケールのローカライズと視点認識を改善できるか。
  • RQ3明示的なローカライズ監督が言語ベースのローカライズ(SQA3D)と 3D QA ベンチマーク(VSI-Bench、ScanQA、SQA3D、MSQA、Beacon3D)での性能にどう影響するか。
  • RQ4BEV レイアウト、状況トークン、言語モデリングを jointly-training することが全体性能に与える影響は。

主な発見

  • Loc3R-VLM は SQA3D で最先端の言語ベースローカリゼーションを達成し、2D MLLMs や多くの 3D ベース手法を上回る。
  • ローカリゼーション指標では、Ours は Acc@0.5m 42.6%、Acc@1.0m 75.9%、Acc@15° 38.4%、Acc@30° 63.0%(SQA3D 表)を記録。
  • Loc3R-VLM は VSI-Bench の 3D QA で新たな最先端を設定し、視点依存のサブタスクで高い性能を示す。
  • Loc3R-VLM は SQA3D および ScanQA における 2D MLLMs の中でトップの性能を達成し、SQA3D では多くの 3D MLLMs を上回る。
  • アブレーション研究により、BEV レイアウトとカメラ姿勢事前情報の追加が局所化精度とメトリックなグラウンドを著しく改善することを示す。
  • 3D QA ベンチマーク(SQA3D、ScanQA、MSQA、Beacon3D)全体で Loc3R-VLM は先行または競争力のあるスコアを達成し、特に空間・視点感度の高いカテゴリで優位。
Figure 3 : Spatial Supervision Framework introduces complementary training signals. For the layout reconstruction objective, the model learns to ground each vision patch token onto its corresponding BEV coordinate in a cognitive map to capture global scene structure. For localization, dedicated loca
Figure 3 : Spatial Supervision Framework introduces complementary training signals. For the layout reconstruction objective, the model learns to ground each vision patch token onto its corresponding BEV coordinate in a cognitive map to capture global scene structure. For localization, dedicated loca

この論文を読む

Nubintのビューアで原文を開き、読みながら気になる箇所をすぐに質問できます。

Nubintでこの論文を読む

このレビューはAIが論文の原文をもとに作成しました。引用する前に原文をご確認ください。