[論文レビュー] Robust Image Retrieval-based Visual Localization using Kapture

Martin Humenberger, Yohann Cabon+8 more|arXiv (Cornell University)|Jul 27, 2020

Robotics and Sensor-Based Localization参考文献 54被引用数 20

ひとこと要約

この論文は、Aachen Day-Night v1.1ベンチマークを用いて、R2D2、SuperGlue、および他の特徴検出器と、さまざまなグローバル記述子設定を組み合わせたロバストなビジョルーカライゼーションを評価している。R2D2にGHARM-50とconfig2を組み合わせた設定が、全距離帯で最高の平均精度（92.45%）を達成し、昼間および夜間の両条件で他の代替手法を上回った。これは、学習された局所特徴と強力なグローバル記述子の組み合わせが、挑戦的なビジョルーカライゼーションタスクにおいて効果的であることを示している。

ABSTRACT

Visual localization tackles the challenge of estimating the camera pose from images by using correspondence analysis between query images and a map. This task is computation and data intensive which poses challenges on thorough evaluation of methods on various datasets. However, in order to further advance in the field, we claim that robust visual localization algorithms should be evaluated on multiple datasets covering a broad domain variety. To facilitate this, we introduce kapture, a new, flexible, unified data format and toolbox for visual localization and structure-from-motion (SFM). It enables easy usage of different datasets as well as efficient and reusable data processing. To demonstrate this, we present a versatile pipeline for visual localization that facilitates the use of different local and global features, 3D data (e.g. depth maps), non-vision sensor data (e.g. IMU, GPS, WiFi), and various processing algorithms. Using multiple configurations of the pipeline, we show the great versatility of kapture in our experiments. Furthermore, we evaluate our methods on eight public datasets where they rank top on all and first on many of them. To foster future research, we release code, models, and all datasets used in this paper in the kapture format open source under a permissive BSD license. github.com/naver/kapture, github.com/naver/kapture-localization

研究の動機と目的

• Aachen Day-Night v1.1ベンチマークにおける、厳しい日・夜間条件下でのビジョルーカライゼーション手法のロバスト性を評価すること。
• さまざまな局所特徴検出器（例：R2D2、Fast-R2D2、ASLFeat）と、異なるグローバル記述子（例：GHARM、APGeM、NetVLAD、DELG）を組み合わせた性能を比較すること。
• 変動する照明および視点条件下で、高精度なビジョルーカライゼーションを達成するための、局所特徴とグローバル特徴の最適な設定を特定すること。
• 実世界の屋外環境における、さまざまなグローバル記述子タイプとトレーニング設定の影響を、ルーカライゼーション性能に与える影響を評価すること。

提案手法

• 研究は、同じシーンの昼間および夜間の画像を含む大規模な屋外データセット、Aachen Day-Night v1.1ベンチマークを用いる。
• R2D2、Fast-R2D2、ASLFeat、D2-Netなどの複数の局所特徴検出器を、GHARM、APGeM、NetVLAD、DELG、DenseVLADなどの異なるグローバル記述子設定と組み合わせて評価する。
• キーポoinトマッチングにはSuperGlueを用い、ルーカライゼーション精度は標準評価プロトコルに従って計算する。
• 複数の距離帯（高、中、低）にわたり評価することで、異なる難易度のルーカライゼーション条件下でのロバスト性を評価する。
• 全帯域の平均精度を用いて、設定間の系統的比較を行い、全体的な性能順に結果を並べ替える。
• 記述子タイプやトレーニング戦略（例：config1対config2）に関するアブレーションスタディを実施し、性能向上要因を特定する。

実験結果

リサーチクエスチョン

• RQ1 Aachen Day-Night v1.1ベンチマークで、どの局所特徴検出器とグローバル記述子の組み合わせが最高のルーカライゼーション精度を達成するか？
• RQ2 日・夜間の変化下で、学習された局所特徴（例：R2D2）の性能は、古典的手法（例：SIFT）と比べてどのように異なるか？
• RQ3 さまざまなグローバル記述子タイプ（例：APGeM、NetVLAD、DELG）は、照明条件の変化に伴うルーカライゼーションのロバスト性にどのような影響を与えるか？
• RQ4 トレーニング設定の選択（例：config1対config2）は、R2D2とグローバル記述子を組み合わせた場合の性能に顕著な影響を与えるか？
• RQ5 さまざまな特徴マッチング戦略（例：SuperGlue）は、厳しい屋外環境下での最終的なルーカライゼーション精度にどのように影響を与えるか？

主な発見

• R2D2にGHARM-50とconfig2を組み合わせた設定が、Aachen Day-Night v1.1ベンチマークで全距離帯で最高の平均精度92.45%を達成した。
• 同じ設定は、高距離帯で99.5%、夜間の高距離帯で98.0%の精度を達成し、極端な条件下でも強いロバスト性を示した。
• Fast-R2D2にGHARM-20とconfig2を組み合わせた設定は91.75%の平均精度を達成し、高速バージョンでも高い性能を維持していることが示された。
• R2D2にAPGeM-20とconfig2を組み合わせた設定は90.32%の平均精度を達成し、APGeMが効果的なグローバル記述子であることが実証された。
• COLMAP SIFTにAPGeM-20を組み合わせた設定は79.17%の平均精度にとどまり、学習された特徴と古典的手法との間には顕著な性能差があることが浮き彫りになった。
• R2D2にDenseVLADまたはNetVLADを組み合わせた設定は、顕著に低い性能（それぞれ84.93%および90.60%）を示し、記述子の選択が結果に強く影響することを示している。