[論文レビュー] Rethinking Visual Geo-localization for Large-Scale Applications

Gabriele Berton, Carlo Masone+1 more|arXiv (Cornell University)|Apr 5, 2022

Advanced Image and Video Retrieval Techniques被引用数 13

ひとこと要約

本論文では、計算コストの高い対照的学習に代わり、軽量な分類ベースのアプローチを採用する新しいトレーニング手法CosPlaceを提案する。これにより、SF-XLのような大規模データセットでも効率的なトレーニングが可能となり、8倍小さい記述子と80％少ないGPUメモリを用いて、都市規模の応用においてスケーラビリティと一般化性能を著しく向上させる。

ABSTRACT

Visual Geo-localization (VG) is the task of estimating the position where a given photo was taken by comparing it with a large database of images of known locations. To investigate how existing techniques would perform on a real-world city-wide VG application, we build San Francisco eXtra Large, a new dataset covering a whole city and providing a wide range of challenging cases, with a size 30x bigger than the previous largest dataset for visual geo-localization. We find that current methods fail to scale to such large datasets, therefore we design a new highly scalable training technique, called CosPlace, which casts the training as a classification problem avoiding the expensive mining needed by the commonly used contrastive learning. We achieve state-of-the-art performance on a wide range of datasets and find that CosPlace is robust to heavy domain changes. Moreover, we show that, compared to the previous state-of-the-art, CosPlace requires roughly 80% less GPU memory at train time, and it achieves better results with 8x smaller descriptors, paving the way for city-wide real-world visual geo-localization. Dataset, code and trained models are available for research purposes at https://github.com/gmberton/CosPlace.

研究の動機と目的

• 実世界の視覚的地図定位応用における代表的で大規模なデータセットの不足に対処する。
• 大規模なトレーニングデータベースにおいて高価なネガティブマイニングに依存する現在の対照的学習手法のスケーラビリティの制限を克服する。
• 大規模な都市規模の画像コレクションを、トレーニングおよび推論の両方で効果的に活用できるトレーニングパラダイムを開発する。
• 最小限の計算リソースで効率的かつ高性能な視覚的地図定位を実現し、ドメイン間で堅牢な一般化を達成する。

提案手法

• 地理的場所と方位に基づくグループ化を用いて、視覚的地図定位をマルチクラス分類問題として定式化するCosPlaceというトレーニング手法を提案する。
• 空間セルと方位のビンに基づいてクラスを定義し、ネガティブマイニングを必要としない構造的で識別性の高いトレーニングラベルを生成する。
• グループ化されたクラスに対するクロスエントロピーを用いて対照的損失の代用を実現し、標準的な最適化手法を用いたエンドツーエンドのトレーニングを可能にする。
• グローバル平均プーリングを用いたバックボーンネットワーク（例：ResNet）を活用し、コンパクトで識別性の高い記述子を生成する。
• 推論時においてはコサイン類似度を用い、学習済みの記述子を用いてクエリをデータベース内の最も近い画像にマッチングする。
• 本研究で新たに導入されたサンフランシスコeXtra Large（SF-XL）データセットを用いてトレーニングを行う。このデータセットは、都市全体をカバーする密度の高い多様なドメインの画像コレクションを含む。

実験結果

リサーチクエスチョン

• RQ1 高価なマイニングを伴わずに、分類ベースのトレーニングアプローチが大規模視覚的地図定位において対照的学習を上回る可能性は？
• RQ2 SF-XLのような大規模な都市規模のデータセットを用いた場合、CosPlaceでトレーニングされたモデルの性能はどのようにスケーリングするか？
• RQ3 特にドメインシフトの下で、CosPlaceは他のデータセットやドメインにどの程度一般化できるか？
• RQ4 従来の手法と比較して、CosPlaceを用いることで、記述子サイズ、推論速度、精度のトレードオフはどのように変化するか？
• RQ5 方位ラベルの導入が、提案されたフレームワークにおける性能とトレーニング効率にどのように影響を与えるか？

主な発見

• CosPlaceは、Pitts250kで512次元の記述子を用いた場合、90.9％のrecall@1を達成し、複数のベンチマークでSOTA性能を達成した。
• 512次元のCosPlaceモデルは、従来のSOTA（SFRS）を上回る性能を示したが、記述子サイズは8倍小さく、トレーニング時のGPUメモリも80％削減した。
• ドメイン間で堅牢に一般化し、SF-XLでのみトレーニングされたモデルでも、セントルシアでは98.8％のrecall@1、MSLSでは81.8％のrecall@1を達成した。
• 512次元の記述子を用いた場合、CosPlaceは4096次元のSFRSよりも8倍速く、32k次元のNetVLADよりも64倍速い推論を実現した。
• 方位ベースのグループ化を用いることで性能が著しく向上し、アブレーション実験では方位ラベルを削除した場合にrecall@1が10％低下した。
• CosPlaceはResNetsやTransformerを含むさまざまなバックボーンで有効であり、アーキテクチャの変更なしにVGG-16ベースのモデルを上回った。