[論文レビュー] RoadMap: A Light-Weight Semantic Map for Visual Localization towards Autonomous Driving

Tong Qin, Yuxin Zheng+3 more|arXiv (Cornell University)|Jun 4, 2021

Robotics and Sensor-Based Localization参考文献 24被引用数 12

ひとこと要約

本稿では、低価格なカメラとコンactなクラウドマップを用いたコスト効率の高い自動運転車両の局所化を実現する軽量な視覚的意味的マップ「RoadMap」を提案する。センサーサンプル豊富な車両が（例：レーンライン、横断歩道など）意味的データを収集・アップロードすることで、リアルタイムのクラウドベースのマップ統合と圧縮が可能となり、36 KB/kmの意味的マップを提供する。このマップは、都市部においてLiDARベースの手法を上回る1m未塔の局所化精度を達成する。

ABSTRACT

Accurate localization is of crucial importance for autonomous driving tasks. Nowadays, we have seen a lot of sensor-rich vehicles (e.g. Robo-taxi) driving on the street autonomously, which rely on high-accurate sensors (e.g. Lidar and RTK GPS) and high-resolution map. However, low-cost production cars cannot afford such high expenses on sensors and maps. How to reduce costs? How do sensor-rich vehicles benefit low-cost cars? In this paper, we proposed a light-weight localization solution, which relies on low-cost cameras and compact visual semantic maps. The map is easily produced and updated by sensor-rich vehicles in a crowd-sourced way. Specifically, the map consists of several semantic elements, such as lane line, crosswalk, ground sign, and stop line on the road surface. We introduce the whole framework of on-vehicle mapping, on-cloud maintenance, and user-end localization. The map data is collected and preprocessed on vehicles. Then, the crowd-sourced data is uploaded to a cloud server. The mass data from multiple vehicles are merged on the cloud so that the semantic map is updated in time. Finally, the semantic map is compressed and distributed to production cars, which use this map for localization. We validate the performance of the proposed map in real-world experiments and compare it against other algorithms. The average size of the semantic map is $36$ kb/km. We highlight that this framework is a reliable and practical localization solution for autonomous driving.

研究の動機と目的

• HDマップや高精度センサ（例：LiDAR、RTK-GPS）の高コストとスケーラビリティの制限を、大規模生産向け車両で解消すること。
• 低価格なカメラとコンactな意味的マップのみを用いて、低価格車両が正確な局所化を達成できることを実現すること。
• センサーサンプル豊富な車両（例：ロボタクシー）が自動的にマップデータを収集・更新する、スケーラブルなクラウドソースのパイプラインを開発すること。
• 正確性、マップサイズ、計算効率のバランスを取った、実用的で実世界に導入可能な局所化システムを構築すること。

提案手法

• 深層学習ベースの意味的セグメンテーションを用いて、車両の前方カメラが画像を撮影し、レーンライン、横断歩道、停止線、地面の標識などの意味的要素を抽出する。
• RTK-GPS/IMU/オドメトリの車両ポーズを用いて幾何的プロジェクションにより2次元の意味的特徴を3次元に再構築し、局所的な3次元マップを形成する。
• クラウドサーバーに局所マップをアップロードし、複数の車両からのデータをICPベースの最適化を用いて統合・アライメントすることで、グローバル意味的マップを形成する。
• 最終的なマップサイズを36 KB/kmにまで圧縮するためのマップ圧縮技術を適用する。
• ICPベースのポーズ推定を用いて、現在の2次元意味的特徴を圧縮された3次元意味的マップと照合することで、エンドユーザーの局所化を実行する。
• EKFフレームワークを用いて視覚的局所化結果とオドメトリを融合することで、耐障害性と軌道の滑らかさを向上させる。

実験結果

リサーチクエスチョン

• RQ1 低価格なカメラとクラウドソースデータから構築された軽量な意味的マップは、LiDARベースのシステムと同等の正確な局所化を達成できるか？
• RQ2 複数の車両からの意味的マップデータを統合・圧縮するクラウドベースのシステムは、最新の状態を保ちつつ、どれほど効率的にマップを管理できるか？
• RQ3 高精度センサベースの手法と比較して、道路の表面マークイングのみを用いたカメラ専用システムの実現可能な局所化精度はどの程度か？
• RQ4 本システムは、レーンラインの再塗装などの環境の動的変化に対応できるか？また、更新の遅延はどの程度か？
• RQ5 本フレームワークは、大都市圏にスケーラブルに適用可能であり、低マップサイズと高い局所化精度を維持できるか？

主な発見

• 平均して圧縮された意味的マップサイズは36 KB/kmであり、ストレージと帯域幅の要件を顕著に削減した。
• システムはx方向で平均0.043 m、y方向で0.040 m、ヨー方向で0.124°の局所化誤差を達成した。これはLiDARベースの手法（0.121 m、0.091 m、0.197°）を上回った。
• 90百分位の局所化誤差はx方向0.104 m、y方向0.092 m、ヨー方向0.240°であり、実世界の条件下でも高い信頼性を示した。
• マップの更新はリアルタイムで成功裏に実証された：レーンラインが再塗装された際、入ってくるクラウドソースデータを用いて数分以内に古いマップデータを検知・置き換えした。
• EKFベースの視覚的局所化とオドメトリの統合により、ジャイタリングとドリフトが低減され、軌道の滑らかさと耐障害性が向上した。
• 意味的マップは上海浦東の22 kmの都市地域で検証され、Googleマップと整合した。これにより、スケーラビリティと実世界への適用可能性が確認された。