[論文レビュー] Levelling the Playing Field: A Comprehensive Comparison of Visual Place Recognition Approaches under Changing Conditions

Mubariz Zaffar, Ahmad Khaliq+3 more|arXiv (Cornell University)|Mar 21, 2019

Advanced Image and Video Retrieval Techniques参考文献 48被引用数 35

ひとこと要約

この論文は、標準化された指標を用いて3つの難易度の高いデータセットで10の最先端Visual Place Recognition (VPR) 技術をベンチマークし、マッチング性能（AUC）、マッチング時間、メモリフットプリントを統一比較して、将来のVPR研究を導く。

ABSTRACT

In recent years there has been significant improvement in the capability of Visual Place Recognition (VPR) methods, building on the success of both hand-crafted and learnt visual features, temporal filtering and usage of semantic scene information. The wide range of approaches and the relatively recent growth in interest in the field has meant that a wide range of datasets and assessment methodologies have been proposed, often with a focus only on precision-recall type metrics, making comparison difficult. In this paper we present a comprehensive approach to evaluating the performance of 10 state-of-the-art recently-developed VPR techniques, which utilizes three standardized metrics: (a) Matching Performance b) Matching Time c) Memory Footprint. Together this analysis provides an up-to-date and widely encompassing snapshot of the various strengths and weaknesses of contemporary approaches to the VPR problem. The aim of this work is to help move this particular research field towards a more mature and unified approach to the problem, enabling better comparison and hence more progress to be made in future research.

研究の動機と目的

• Appearance changes の下での10の最近のVPR技術の性能を評価する。
• データセット、グラウンドトゥルース、指標を一定に保ち、公正で統一された評価プラットフォームを提供する。
• 精度、速度、メモリ使用量のトレードオフを定量化し、デプロイメントの検討に役立てる。

提案手法

• Berlin Kudamm、Gardens Point、Nordland の3つの公開データセットを標準化条件のもとで評価する。
• 3つの指標を使用する：マッチング性能（精度再現率のAUC）、マッチング時間（クエリエンコードとディスクリプタ照合）、メモリフットプリント（ディスクリプタサイズ）。
• 各手法を以下のとおり実装・設定する：HOG、Seq-SLAM、AlexNet、NetVLAD、AMOSNet、HybridNet、Cross-Region-BOW、R-MAC、Region-VLAD、CALC。
• 視点・季節・照明の変化および動的物体の有無に対する感度の観点から、手法を比較する。

実験結果

リサーチクエスチョン

• RQ1 極端な外観の変化に対して、トップVPR技術はどの程度の精度を示すのか。
• RQ2 Uniformなプラットフォーム上での計算コスト（時間とメモリ）は方法間でどう比較されるのか。
• RQ3 実時間デプロイメントのために、マッチング性能とリソース要件のバランスが最も良い方法はどれか。

主な発見

• NetVLADはBerlin Kudammデータセットで最先端の性能を達成する。
• Region-VLADとCross-Region-BoWはBerlin KudammでNetVLADに近い成績を示し、AMOSNetとHybridNetは競争力のある結果を提供するが、極端な視点変化によって劣化。
• Gardens Pointでは照明変化にもかかわらずほとんどの手法が良好に機能し、Cross-Region-BoWが強い結果を達成。
• NordlandではRegion-VLADがトップの性能を提供し、Net-VLADとCross-Region-BOWも競合的。
• CNNベースの手法は手作業特徴よりエンコード時間が長く、メモリフットプリントも大きい一方、CALCは特にエンコード時間が高速である。
• Cross-Region-BOWとRegion-VLADはディスクリプタサイズが大きく、リソース制約のあるプラットフォームへのデプロイに影響する。