[論文レビュー] Leveraging Deep Visual Descriptors for Hierarchical Efficient Localization

Paul-Edouard Sarlin, Frédéric Debraine+3 more|arXiv (Cornell University)|Sep 4, 2018

Robotics and Sensor-Based Localization被引用数 44

ひとこと要約

この論文は、まず学習済みのグローバル画像記述子を使用して候補の場所を検索し、次に高価な局所の2D-3Dマッチング（SIFT）を実行して、都市規模でGPSが使えない環境においてセンチメートル精度の6自由度姿勢を推定する階層的な視覚ローカライゼーションパイプラインを提案します。モバイルデバイス上でリアルタイムに動作します。

ABSTRACT

Many robotics applications require precise pose estimates despite operating in large and changing environments. This can be addressed by visual localization, using a pre-computed 3D model of the surroundings. The pose estimation then amounts to finding correspondences between 2D keypoints in a query image and 3D points in the model using local descriptors. However, computational power is often limited on robotic platforms, making this task challenging in large-scale environments. Binary feature descriptors significantly speed up this 2D-3D matching, and have become popular in the robotics community, but also strongly impair the robustness to perceptual aliasing and changes in viewpoint, illumination and scene structure. In this work, we propose to leverage recent advances in deep learning to perform an efficient hierarchical localization. We first localize at the map level using learned image-wide global descriptors, and subsequently estimate a precise pose from 2D-3D matches computed in the candidate places only. This restricts the local search and thus allows to efficiently exploit powerful non-binary descriptors usually dismissed on resource-constrained devices. Our approach results in state-of-the-art localization performance while running in real-time on a popular mobile platform, enabling new prospects for robotics research.

研究の動機と目的

• 大きく変化する環境で限られたモバイル計算資源下での正確な6-DoFローカライゼーションの必要性に対処する。
• グローバルに学習された記述子を用いて粗い場所検索を行い、精密な姿勢推定のための高価な局所特徴を組み合わせる。
• ターゲット環境のトレーニングを必要とせず、モバイルハードウェア上でリアルタイムに動作させる。

提案手法

• 大規模な画像検索モデルを知識蒸留によってモバイル向けネットワークに圧縮し、MobileNetVLADグローバル記述子を生成する。
• 検索された priors の共視性に基づくクラスタリングを行い、候補地点を定義する。
• 高次元の局所記述子（SIFTまたはFREAK）を、削減された候補集合内でのみ使用して2D-3D対応を計算する。
• 一貫した2D-3D対応からPnP-RANSACの姿勢推定を解く。
• リコール/精度の改善とセンチメートル精度の姿勢推定を示すためにベースラインと比較評価する。

実験結果

リサーチクエスチョン

• RQ1 学習済みグローバル記述子は、2D-3D姿勢推定の探索空間を縮小する粗いローカリゼーションを実現できるか？
• RQ2 階層的で粗→細のローカライゼーションパイプラインは、モバイルハードウェア上での精度と実行時間の点で、既存の資源制約下の方法を上回るか？
• RQ3 グローバル記述子の蒸留、共視性クラスタリング、局所記述子の選択（FREAK vs SIFT）は、ローカリゼーション性能にどのように影響するか？

主な発見

• MobileNetVLADはNetVLADに近いリトリーバルリコールを達成しつつ約38倍高速に動作し、リアルタイムなモバイル展開を実現する。
• 完全なローカリゼーションでは、MNV+SIFTはRecall@0.1mが38.5%、Precision@0.1mが80.5%、中央値誤差が0.029 mとなり、Direct+FREAKを上回り、理想的なSIFTの上限に近づく。
• 5–10枚のpriorフレームを使用すると強力な姿勢推定が得られつつ、実行時間を低く抑えられる。一方、priorの数を増やすとリターンが減少し遅延が増える。
• 全パイプラインはNVIDIA Jetson TX2上で2.2 FPSで動作し、局所マッチングがボトルネックで、精度を犠牲にすることでスピードアップの可能性がある。
• MaplabのDirect+FREAKベースラインと比較して、提案手法はリコールを著しく改善している（報告結果で18.4%）。
• リアルタイム制約があっても、ターゲット環境のトレーニングを必要とせず、GPS-deniedな都市規模環境でセンチメートル精度の姿勢を提供する。