[論文レビュー] Are State-of-the-art Visual Place Recognition Techniques any Good for Aerial Robotics?

Mubariz Zaffar, Ahmad Khaliq+4 more|arXiv (Cornell University)|Apr 16, 2019

Robotics and Sensor-Based Localization参考文献 53被引用数 18

ひとこと要約

本論文は、6自由度（6-DOF）の視点変化にさらされる極端な条件下で、2つの無人航空機用データセットを用いて8つの最先端の視覚的場所認識（VPR）手法の性能、計算効率、メモリ要件を評価する。NetVLADは最高のマッチング性能を達成するが、CALCは最もエネルギー効率が良く、すべての手法が無人航空機プラットフォームの制約により顕著な課題に直面していることが判明し、無人航空機向け最適化されたVPRシステムの開発が不可欠であることが示された。

ABSTRACT

Visual Place Recognition (VPR) has seen significant advances at the frontiers of matching performance and computational superiority over the past few years. However, these evaluations are performed for ground-based mobile platforms and cannot be generalized to aerial platforms. The degree of viewpoint variation experienced by aerial robots is complex, with their processing power and on-board memory limited by payload size and battery ratings. Therefore, in this paper, we collect $8$ state-of-the-art VPR techniques that have been previously evaluated for ground-based platforms and compare them on $2$ recently proposed aerial place recognition datasets with three prime focuses: a) Matching performance b) Processing power consumption c) Projected memory requirements. This gives a birds-eye view of the applicability of contemporary VPR research to aerial robotics and lays down the the nature of challenges for aerial-VPR.

研究の動機と目的

• 地面ベースのVPR手法が6自由度の視点変化が著しい無人航空機プラットフォームに一般化して効果的に機能するかを評価すること。
• ドローンに一般的なリソース制約下における最先端VPR手法の計算およびメモリオーバーヘッドを分析すること。
• 6-DOFの視点変化を伴う新規に提案された無人航空機用場所認識データセットを用いて、VPR手法を比較すること。
• バッテリー駆動の無人航空機における実際の展開を想定し、処理パワーの消費量と予想されるメモリ要件を定量化すること。
• 長期間にわたるリアルタイム自律飛行に最も実用的なVPR手法を特定すること。

提案手法

• 本研究では、8つの最先端VPR手法（AlexNet, NetVLAD, AMOSNet, HybridNet, Cross-Region-BOW, R-MAC, Region-VLAD, CALC）を、2つの無人航空機用データセット（Shopping Street 1 および Shopping Street 2）に対して評価した。
• すべての手法を同一のハードウェアプラットフォーム（Intel Xeon Gold 6134 CPU）にデプロイすることで、マッチング性能、処理時間、CPU使用率の面で公平な比較を実現した。
• 処理パワー消費量は、パrameters a=0, s=1, V=2.5, N=4781 を用いたバッテリーモデルを用いて推定し、特徴エンコードおよびマッチングのための合計Ah消費量（Ah_t）を計算した。
• 予想されるメモリ要件は、両データセット全体にわたって1枚の参照画像ごとに保存される特徴記述子の合計サイズを推定することで算出した。この際、完全なマップの保存を仮定した。
• 性能評価は、6-DOFドローン運動を手で保持した棒にカメラを設置して再現したデータセットを用いた標準的なVPR指標に基づいて実施した。
• 分析にはマッチング精度とリソース効率の両方が含まれ、CPU使用率、実行時間、エネルギー消費量の観点から結果を報告した。

実験結果

リサーチクエスチョン

• RQ1 6自由度の視点変化が著しい状況下で、地面ベースのプラットフォーム向けに設計された最先端VPR手法が、無人航空機プラットフォームに一般化して効果的に機能するか？
• RQ2 リソース制約が著しい無人航空機プラットフォームにおいて、異なるVPR手法の処理パワー消費量とエネルギー効率はどのように比較できるか？
• RQ3 現代の記述子ベース手法を用いた場合、無人航空機用データセットに完全なVPRマップを保存するための予想されるメモリ要件は何か？
• RQ4 Shopping Streetデータセットにおける視点変化は、最先端VPR手法のマッチング性能にどのように影響を与えるか？
• RQ5 長期間にわたるドローン飛行ミッションにおいて、正確性、エネルギー効率、メモリフットプリントのバランスを最適にとるVPR手法はどれか？

主な発見

• NetVLADは、Shopping Street 2データセットで最高のマッチング性能を示し、6-DOFの視点変化に対して最先端の耐性を示した。
• Cross-Region-BOWは、処理パワー消費量が最も高く（Ah_t = 63.836）、主に計算コストの高いマッチング段階（t_m = 1199.04 sec）に起因していた。
• CALCは最もエネルギー効率が良く、合計バッテリ消費量が最小（Ah_t = 0.0272）であったため、長時間飛行ミッションに非常に適していた。
• 完全な記述子マップの保存に要する予想されるメモリ要件は、Cross-Region-BOWが最も高く、CALCが最も低く、各手法間で0.0272 Ah_t ～ 63.836 Ah_t の範囲で変動した。
• Shopping Street 1 と Shopping Street 2 の間でマッチング性能に顕著な低下が観察されたことから、6-DOFの視点変化が現在のVPR手法にとって大きな課題であることが示された。
• 地面ベースのデータセットで優れた性能を示す大多数の最先端VPR手法が、無人航空機用データセットで模擬された垂直および横方向の視点変化に対処できていないことから、無人航空機向け最適化されたVPRシステムの開発が強く求められることが明らかになった。