[論文レビュー] Visual Localization for Autonomous Driving: Mapping the Accurate Location in the City Maze

Dongfang Liu, Yiming Cui+4 more|arXiv (Cornell University)|Aug 13, 2020

Video Surveillance and Tracking Methods参考文献 42被引用数 7

ひとこと要約

本論文は、GPS信号が低下する都市部環境における位置特定精度を向上させるために、前方、左方、右方のカメラビューを用いた三方向視覚的局所化システムを提案する。複数のビュー間での特徴投票と、Googleストリートビューのデータに基づく自動パイプラインを活用することで、橋の下や高層ビルの近くなど、困難な条件下でも頑健な局所化を実現し、前方ビューのみに依存する手法を著しく上回る性能を発揮する。

ABSTRACT

Accurate localization is a foundational capacity, required for autonomous vehicles to accomplish other tasks such as navigation or path planning. It is a common practice for vehicles to use GPS to acquire location information. However, the application of GPS can result in severe challenges when vehicles run within the inner city where different kinds of structures may shadow the GPS signal and lead to inaccurate location results. To address the localization challenges of urban settings, we propose a novel feature voting technique for visual localization. Different from the conventional front-view-based method, our approach employs views from three directions (front, left, and right) and thus significantly improves the robustness of location prediction. In our work, we craft the proposed feature voting method into three state-of-the-art visual localization networks and modify their architectures properly so that they can be applied for vehicular operation. Extensive field test results indicate that our approach can predict location robustly even in challenging inner-city settings. Our research sheds light on using the visual localization approach to help autonomous vehicles to find accurate location information in a city maze, within a desirable time constraint.

研究の動機と目的

• GPSが遮断される都市部、例えば橋の下や高層ビルの間で、従来のGPSが機能しない状況を解消すること。
• 前方ビュー画像に依存するのではなく、前方、左方、右方の複数方向のビューを組み込むことで、視覚的局所化の精度を向上させること。
• Googleストリートビューを活用してGPSタグ付きの画像データを収集・アノテート・管理する自動パイプラインを構築し、データベース構築のコストと複雑さを低減すること。
• シーンの動的特性（例：高速移動 vs. 低速移動）に基づいて、異なるビューからの寄与を適応的に重み付する特徴投票機構を導入すること。
• 今後の自律走行車両の局所化研究のため、公開可能なGPSタグ付きの視覚的局所化データセットを提供すること。

提案手法

• Googleストリートビューを用いて、360°球面画像から前方、左方、右方のビューを抽出することで、GPSタグ付きの画像ライブラリを構築する。
• 三つのビューからの局所特徴を統合するための特徴投票技術を導入し、各ビューが最終的な位置予測に適応的重みで寄与する。
• 適応的重み $\alpha$ は、左方および右方のビューの影響を制御し、$\alpha = 1$ では前方ビューに偏り、$\alpha = 0$ では側方ビューのみに依存する。
• 最新の視覚的局所化ネットワーク（例：SAREなど）を、マルチビュー入力を処理できるように変更し、参照ライブラリとの特徴マッチングを実行する。
• 運動IoUを用いて、街路シーンを「高速」（高運動、例：高層ビル付近）または「低速」（低運動、開放空間）に分類し、動的重み調整を可能にする。
• 位置予測は、投票コストが最小となる参照画像を選択し、そのGPSタグを予測位置として決定する。

実験結果

リサーチクエスチョン

• RQ1 前方、左方、右方の多方向視覚特徴を用いることで、前方ビューのみの手法に比べ、GPS信号が遮断される都市部環境における局所化精度が向上するか？
• RQ2 左方および右方のビューに対する適応的重み付けが、さまざまな都市部の街路シーンにおける局所化性能に与える影響は何か？
• RQ3 Googleストリートビューのデータを用いることで、GPSタグ付きの視覚的局所化データベース構築におけるコストと複雑さはどの程度低減されるか？
• RQ4 橋の下やトンネル、密集した高層ビル群の近くなど、困難な条件下でも本システムの性能は保たれるか？
• RQ5 本手法は、夜間、雨、雪などさまざまな天候・照明条件下でも一般化可能か？

主な発見

• 提案された三視点手法は、前方ビューのみの手法に比べ、GPS信号が遮断される都市部環境（例：橋の下や高層ビルの近く）において顕著に局所化精度が向上する。
• $\alpha$ を 1 から 0.4（SAREでは 0.5）に低下させると、平均平均精度（AP）が継続的に向上し、側方ビューが局所化の頑健性を高めることを示している。
• 高速な街路シーン（例：高層ビル付近）では $\alpha \approx 0.3$ が最適な性能を発揮するが、低速なシーン（開放空間）では $\alpha \approx 0.6$ が最良の結果をもたらす。
• GPS信号が完全に遮断された状況でも、メトロの橋の下や高層ビルの谷間での現地テストで、正確な位置予測を維持している。
• 左方および右方のビューのみ（$\alpha = 0$）を用いても、前方ビューのみ（$\alpha = 1$）を用いるよりも優れた性能を示しており、側方ビューが独自で価値ある局所化の手がかりを提供していることが示唆される。
• 本手法は多様な都市環境において頑健な性能を発揮し、GPSが信頼できない状況でも、予測位置が真の軌道に忠実に追従している。