[論文レビュー] VPAIR -- Aerial Visual Place Recognition and Localization in Large-scale Outdoor Environments

Michael Schleiss, Fahmi Rouatbi+1 more|arXiv (Cornell University)|May 23, 2022

Robotics and Sensor-Based Localization被引用数 9

ひとこと要約

本論文は、300–400メートルの高度で軽飛行機から撮影された大規模な空中視覚的場所認識および局所化データセット、VPAIRを紹介している。このデータセットは、下方を向いた画像と高解像度の地理的に位置合わせられたレンダリング画像、および6自由度（6-DoF）のポーズを備えている。実験の結果、回転に頑健な局所特徴記述子（RoRD）は、鳥瞰図的空中シーンに一般的な平面内回転に対処する際、NetVLAD や SIFT といった標準的手法を顕著に上回ることが示された。

ABSTRACT

Visual Place Recognition and Visual Localization are essential components in navigation and mapping for autonomous vehicles especially in GNSS-denied navigation scenarios. Recent work has focused on ground or close to ground applications such as self-driving cars or indoor-scenarios and low-altitude drone flights. However, applications such as Urban Air Mobility require operations in large-scale outdoor environments at medium to high altitudes. We present a new dataset named VPAIR. The dataset was recorded on board a light aircraft flying at an altitude of more than 300 meters above ground capturing images with a downwardfacing camera. Each image is paired with a high resolution reference render including dense depth information and 6-DoF reference poses. The dataset covers a more than one hundred kilometers long trajectory over various types of challenging landscapes, e.g. urban, farmland and forests. Experiments on this dataset illustrate the challenges introduced by the change in perspective to a bird's eye view such as in-plane rotations.

研究の動機と目的

• 中〜高高度の屋外環境における視覚的場所認識（VPR）および視覚的局所化（VL）のための、大規模な空中データセットが不足しているという問題に対処すること。
• 下方を向いた空中カメラに特徴的な平面内回転を伴う極端な視点変化下で、既存のVPRおよびVL技術の性能劣化を調査すること。
• 正確な地理的に位置合わせられた画像、高密度な深度マップ、および6-DoFのポーズを備えた、公開可能なデータセットを提供し、自律飛行の分野における研究を支援すること。
• 標準的なグローバル記述子および局所記述子と比較して、空中VPRおよびVLのシナリオにおける回転に頑健な記述子（RoRD）の有効性を評価すること。
• 空中環境における現在の市販の技術（例：NetVLAD や SIFT）の限界を強調し、今後のシステムにおいて回転に頑健で効率的な記述子の導入を提言すること。

提案手法

• 300–400メートルの高度で地上を107kmの軌道に沿って飛行する軽飛行機から空中画像を収集し、都市部、農業地帯、森林地帯をカバーする。
• 各クエリ画像に対して、公開されている地理空間データ（例：OpenStreetMap、SRTM）を用いて生成された高解像度の地理的に位置合わせられたレンダリング画像と高密度な深度マップをペアリングする。
• Pariharら[20]の回転に頑健な局所特徴記述子（RoRD）を用いて、VPRおよびVLタスクの両方を実行し、平面内回転に対するより優れた耐性を実現する。
• VPRの場合は、局所特徴記述子を用いて類似度上位k件の近傍を検索し、特徴の頻度に基づいて参照画像をランク付けする。100メートルの距離閾値を用いて、Recall@nで評価する。
• VLの場合は、RoRDを用いて2D-2Dマッチングを確立し、高密度な深度マップを用いて2Dキーポintsを3Dにバックプロジェクションし、再投影誤差を最小化するPnPソルバを用いて6-DoFポーズを推定する。
• RoRDを、VPRではベースラインのNetVLAD（グローバル記述子）、VLではSIFTおよびD2-Net（局所記述子）と比較し、標準的な指標（Recall@n、絶対ポーズ誤差）を用いて評価する。

実験結果

リサーチクエスチョン

• RQ1 高高度の下方を向いた空中カメラが引き起こす極端な視点変化、特に平面内回転を伴う状況下で、標準的なVPRおよびVL技術はどの程度の性能を示すか？
• RQ2 空中環境において、非回転に頑健な記述子やグローバル記述子と比較して、回転に頑健な局所記述子（RoRD）を用いることで、VPRおよびVLの性能はどの程度向上するか？
• RQ3 シーンタイプ（都市部、農業地帯、森林地帯）が、高高度空中シナリオにおけるVPRおよびVLシステムの性能に与える影響は何か？
• RQ4 市販のグローバル記述子（例：NetVLAD）は、大規模な空中VPRにおいて、局所記述子パイプラインと比較して、外観および視点の変化を効果的に処理できるか？
• RQ5 クエリ画像と参照画像の間の平面内回転の差が、VPRの精度に与える影響は何か？また、RoRDはこの性能劣化をどのように緩和するか？

主な発見

• RoRDベースのVPRは、同じデータセットでNetVLADの10.2％に比べて38.7％のRecall@1を達成し、大規模な空中VPRにおいて優れた性能を示していることが判明した。
• 都市部のシーンでは、RoRD-VPRがRecall@5で77.4％を達成した一方、NetVLADは31.1％にとどまり、外観および視点の変化に対して高い頑健性を示していることがわかった。
• ヘディングの違いを制御した状況でも、RoRD-VPRは強力な性能を維持している：135°の平面内回転下でも51.2％のRecall@5を達成したが、NetVLADは17.7％に低下した。これは、回転に頑健であることを強く示している。
• RoRD-VLは25m/5°の絶対ポーズ誤差閾値で10.6％の成功率を示し、SIFT（6.2％）およびD2-Net（2.9％）を上回った。これは、6-DoFポーズ推定において有効であることを証明している。
• RoRDと回転に頑健でない手法（D2-Net や SIFT）との間の性能差は、空中視覚的局所化において回転不変特徴が極めて重要であることを強く示唆している。
• 計算コストがやや高いものの、RoRDパイプラインは、特に回転および外観の変化が激しい状況下で、グローバル記述子（例：NetVLAD）を上回る性能を示す、局所記述子ベースのVPRが可能であることを実証した。