[論文レビュー] ALT-Pilot: Autonomous navigation with Language augmented Topometric maps

Mohammad Omama, Pranav Inani+5 more|arXiv (Cornell University)|Oct 3, 2023

Autonomous Vehicle Technology and Safety被引用数 4

ひとこと要約

ALT-Pilot は、高精度 LiDAR マップを必要とせず、自然言語で記述されたランドマークを統合したトップメトリックマップ（言語拡張型トップメトリックマップ）を用いて、道路網における自律走行を可能にする。視覚言語モデルを活用したマルチモーダル局所化を実現し、MapLite よりも 3 倍の局所化精度と 5 倍のゴール到達率を達成する。

ABSTRACT

We present an autonomous navigation system that operates without assuming HD LiDAR maps of the environment. Our system, ALT-Pilot, relies only on publicly available road network information and a sparse (and noisy) set of crowdsourced language landmarks. With the help of onboard sensors and a language-augmented topometric map, ALT-Pilot autonomously pilots the vehicle to any destination on the road network. We achieve this by leveraging vision-language models pre-trained on web-scale data to identify potential landmarks in a scene, incorporating vision-language features into the recursive Bayesian state estimation stack to generate global (route) plans, and a reactive trajectory planner and controller operating in the vehicle frame. We implement and evaluate ALT-Pilot in simulation and on a real, full-scale autonomous vehicle and report improvements over state-of-the-art topometric navigation systems by a factor of 3x on localization accuracy and 5x on goal reachability

研究の動機と目的

• 自律走行システムにおける高精度 LiDAR マップのスケーラビリティとコスト制限を克服すること。
• メトリックに正確なマップに依存せずに、道路網上の任意の目的地への正確な局所化とナビゲーションを可能にすること。
• トポロジカルな道路網上に言語でアノテートされたランドマークのみを用いた、実用的で低リソースマップ表現を導入すること。
• LiDAR、RGB、言語のマルチモーダルを統合した、リアルタイムでの車両ポーズ推定に耐性のある、強固なマルチモーダル局所化システムを開発すること。
• 自然言語のゴール（例：「座る場所を探して」）を用いたオープンボキャブラリーなナビゲーションを可能にすること。

提案手法

• OpenStreetMap (OSM) の道路網に、地理的に位置づけられたテキストのみの恒久的ランドマーク（例：標識、信号機）の記述を追加することで、言語拡張型トップメトリックマップを構築する。
• 各言語ランドマークの CLIP 嵪合を事前に計算し、視覚と言語のモダリティ間のクロスアテンションを可能にする。
• 推論段階で、搭載された RGB カメラから各画素の CLIP 画像埋め込みを抽出し、それを再帰ベイズ推定フレームワークに組み込んで車両の局所化を実行する。
• LiDAR による道路セグメンテーションとコストマップを、視覚言語特徴と統合して、ポーズ推定の耐性を向上させる。
• 局所化の出力を、グローバルプランニングおよびリアクティブトラジェクトリ制御スタックに統合し、エンドツーエンドのナビゲーションを実現する。
• 大規模言語モデル（GPT-4）を用いて、オープンエンドの自然言語ゴールを構造化されたランドマーククエリに変換し、目的指向ナビゲーションを可能にする。

Figure 2 : Pipeline : ALT-Pilot uses OSM maps augmented with language descriptions of landmarks. We precompute the CLIP (language) descriptors for each of these landmarks. At inference time, the LiDAR and Camera information is used to generate per-pixel CLIP (image) descriptors used in our multimoda

実験結果

リサーチクエスチョン

• RQ1 トポロジカルな道路網と散発的な言語ランドマークのみを用いて、高精度 LiDAR マップなしで自律走行が可能になるか？
• RQ2 視覚言語モデルは、現実の走行シナリオにおいて、視覚的・言語的モダリティを効果的に統合し、局所化精度を向上させられるか？
• RQ3 ランドマークの位置ずれ、誤検出、誤った言語記述などの誤りに対して、システムはどの程度耐性を示すか？
• RQ4 言語拡張型マップは、『座る場所』のような意味的記述されたゴールへのオープンボキャブラリーなナビゲーションを可能にするか？
• RQ5 LiDAR、RGB、言語のマルチモーダル統合は、マップオンリーまたはビジョンオンリーのベースラインと比較して、局所化精度とゴール到達率をどの程度向上させるか？

主な発見

• ALT-Pilot は、CARLA1 マップにおいて、MapLite よりも 3 倍の局所化精度を達成し、平均絶対ポーズ誤差（APE）は 3.72 m に対し、MapLite は 10.3 m であった。
• クローズドループナビゲーションにおいて、ALT-Pilot は、非交差点のゴールに対して、平均ゴール距離を 5 倍短縮し、CARLA1 で 1.57 m にまで低下させたのに対し、MapLite は 14.37 m であった。
• システムは最大 50% の偽陰性または偽陽性ランドマークに対しても、APE が 5.89 m 未満で安定し、80% を超えると著しく性能が低下する。
• ALT-Pilot は、実世界データにおいて、正しくポーズに収束するまでの距離を 23.32 m にまで短縮したが、MapLite は 73.1 m であった。
• 言語ガイドナビゲーションにより、LLM を用いた解析により『座る場所』のようなオープンボキャブラリーなゴールに対しても、関連するランドマークと照合し、効果的なルート計画が可能となった。
• グリッド状の都市環境では、より長いルートに沿ってランドマークの多様性が増すため、言語ランドマークの追加が局所化性能を顕著に向上させる。

Figure 3 : Topological and Topometric localization on two CARLA maps. ALT-Pilot outperforms MapLite in both topological and topometric localization. Further, it’s more robust to noise in the map while MapLite is adversely affected by it. The impact of noise is more noticeable in the larger CARLA1 ma