[論文レビュー] Learning to Localize Reference Trajectories in Image-Space for Visual Navigation

Finn Lukas Busch, Matti Vahs+5 more|arXiv (Cornell University)|Feb 21, 2026

Multimodal Machine Learning Applications被引用数 0

ひとこと要約

LoTISは、参照RGB軌道の各ポーズがロボットの現在の視野にどこに現れるかを予測し、ロボット依存性のない跨エンボディメントの視覚ナビゲーションと堅牢な逆走を可能にする。全軌道を共同で処理し、カメラの不一致を跨いだ訓練を通じて、ロボット固有の訓練なしで高い成功率を達成する。

ABSTRACT

We present LoTIS, a model for visual navigation that provides robot-agnostic image-space guidance by localizing a reference RGB trajectory in the robot's current view, without requiring camera calibration, poses, or robot-specific training. Instead of predicting actions tied to specific robots, we predict the image-space coordinates of the reference trajectory as they would appear in the robot's current view. This creates robot-agnostic visual guidance that easily integrates with local planning. Consequently, our model's predictions provide guidance zero-shot across diverse embodiments. By decoupling perception from action and learning to localize trajectory points rather than imitate behavioral priors, we enable a cross-trajectory training strategy for robustness to viewpoint and camera changes. We outperform state-of-the-art methods by 20-50 percentage points in success rate on conventional forward navigation, achieving 94-98% success rate across diverse sim and real environments. Furthermore, we achieve over 5x improvements on challenging tasks where baselines fail, such as backward traversal. The system is straightforward to use: we show how even a video from a phone camera directly enables different robots to navigate to any point on the trajectory. Videos, demo, and code are available at https://finnbusch.com/lotis.

研究の動機と目的

• カメラのキャリブレーションやロボット固有の訓練に依らず、参照軌道を用いた堅牢な視覚ナビゲーションを動機づける。

提案手法

• ガイダンスを各軌道フレームの画像空間座標、可視性、正規化距離として表現する。

実験結果

リサーチクエスチョン

• RQ1 LoTISは本タスク向けに設計されたベースラインと比較して前方軌道追従でどの程度性能を示すか？
• RQ2 LoTISはサブゴールベース手法よりも軌道逸脱開始をよりうまく扱えるか？
• RQ3 参照軌道とクエリ軌道間でキャリブレーション内在値と取付高さが不一致であってもLoTISはどれだけ頑健か？
• RQ4 前方軌道のみで訓練されたモデルは明示的なデモンストレーションなしに逆走へ一般化できるか？

主な発見

• LoTISはGibsonで前方軌道内导航のSR 94.7%、HM3DでSR 98.5%を達成し、ベースラインを大きく上回る。
• 障害物回避を含む場合、前方ナビゲーションで両データセットともSR100%に達する。
• Cross-camera不一致下でもLoTISは高い性能を維持し（例：Gibson 83.6% SR）、逆走を堅牢にサポートする（例：HM3D 69.6–86.8% SR、難易度設定で）。
• 軌道外開始時にもLoTISはベースラインより著しく頑健で、例としてGibsonで88.2% SR、HM3Dで障害物回避なしでも74.0% SR。