[論文レビュー] Metric Localization using Google Street View

Pratik Agarwal, Wolfram Burgard+1 more|arXiv (Cornell University)|Mar 14, 2015

Robotics and Sensor-Based Localization参考文献 23被引用数 9

ひとこと要約

本論文では、グローバルなリファレンスとしてGoogleストリートビューのパノラマを用い、単眼カメラの映像ストリームから3次元特徴点を推定し、非線形最小二乗最適化によりそれらをパノラマにアライメントするメトリックローカライゼーション手法を提示する。本手法は、事前マップ作成やGPS信号を一切不要とし、単眼画像とオドメトリのみで1m未満の精度を達成でき、都市環境における耐障害性の高いローカライゼーションを実現する。

ABSTRACT

Accurate metrical localization is one of the central challenges in mobile robotics. Many existing methods aim at localizing after building a map with the robot. In this paper, we present a novel approach that instead uses geotagged panoramas from the Google Street View as a source of global positioning. We model the problem of localization as a non-linear least squares estimation in two phases. The first estimates the 3D position of tracked feature points from short monocular camera sequences. The second computes the rigid body transformation between the Street View panoramas and the estimated points. The only input of this approach is a stream of monocular camera images and odometry estimates. We quantified the accuracy of the method by running the approach on a robotic platform in a parking lot by using visual fiducials as ground truth. Additionally, we applied the approach in the context of personal localization in a real urban scenario by using data from a Google Tango tablet.

研究の動機と目的

• 事前マッピングやGPS信号を必要としない、ロボットやモバイルデバイス向けの高精度メトリックローカライゼーションを実現すること。
• 既存でグローバルに位置付けられたGoogleストリートビューのパノラマを、グローバルな位置決めリファレンスとして活用すること。
• 単眼カメラとオドメトリという最小限のセンサ入力で動作する手法を開発し、低コストかつ容易に展開可能なものとすること。
• 繰り返しの多い外壁や一時的な遮断といった、視覚的に困難な都市環境でもロバストなローカライゼーションを実現すること。
• Google Tangoのような市販のデバイスを用いて、ロボットおよび個人用モバイルデバイスの両方のローカライゼーションシナリオに適用可能であることを示すこと。

提案手法

• ローカライゼーションを2段階の非線形最小二乗最適化問題として定式化する。
• 1段階目では、視覚オドメトリと特徴点追跡を用いて、短い単眼画像シーケンスから特徴点の3次元位置を推定する。
• 2段階目では、推定された3次元点群と地理的に位置付けられたストリートビューのパノラマの間の6自由度剛体変換を計算する。
• 地面での特徴点追跡の改善のため、ミラー付きプリズムを用い、Tangoデバイス上で安定した視覚慣性オドメトリを実現する。
• 類似パノラマの特定のため、シンプルなbag-of-wordsアプローチによる場所認識を実施する。
• 最終的なポーズ推定値は、カメラの軌跡と選択されたストリートビューのパノラマとの最適化された変換から得られる。

実験結果

リサーチクエスチョン

• RQ1 都市環境において、Googleストリートビューのパノラマを信頼できるグローバルリファレンスとしてメトリックローカライゼーションに利用できるか？
• RQ2 事前マップ作成を一切行わず、単眼画像とオドメトリのみで1m未満のローカライゼーション精度を達成できるか？
• RQ3 繰り返し構造や一時的遮断といった視覚的に困難な都市環境でも、本手法はどれほどロバストか？
• RQ4 Google Tangoのような一般消費者向けモバイルデバイスに、最小限のハードウェア改造で効果的に展開可能か？
• RQ5 2段階最適化戦略は、1段階アプローチと比較して、収束性と精度に優れているか？

主な発見

• 視覚フィデューシャルを真値として用いた、大規模な屋外駐車場において、本手法は1m未満のローカライゼーション精度を達成した。
• フライブルクのGPS不可のトンネルのような都市環境でも、本システムはストリートビューと視覚オドメトリのみでデバイスのローカライゼーションに成功した。
• 視覚的に類似した住宅地においても、本手法は正しくデバイスをローカライズし、曖昧な視覚的手がかりに対してもロバストであることを示した。
• フランスのマルコルシムの主要道路においても、交通量が多く動的要因が多様な状況下でも、カメラの軌跡が最も近いストリートビューのパノラマに正常にマッチングされた。
• プリズム搭載カメラの使用により、地面での特徴点追跡の安定性が向上し、Tangoデバイス上で信頼性の高い視覚慣性オドメトリが実現された。
• 2段階最適化アプローチにより、初期解が安定し、限られた基線長や弱い特徴点安定性下でも、正確な6自由度ポーズへの収束が可能となった。