[論文レビュー] EigenPlaces: Training Viewpoint Robust Models for Visual Place Recognition

Gabriele Berton, Gabriele Trivigno+2 more|arXiv (Cornell University)|Aug 21, 2023

Advanced Image and Video Retrieval TechniquesComputer Science被引用数 3

ひとこと要約

EigenPlacesは、地理的主成分に基づいて訓練画像を視点不変クラスにクラスタリングすることで、視点の変化に強い視覚的場所認識のための新しいトレーニングパラダイムを提案する。フロントビューとサイドビューに焦点を当てたデュアルロスの目的関数を用いてトレーニングすることで、多様なデータセットで最先端の性能を達成するとともに、記述子サイズを50%削減し、GPUメモリ使用量を60%削減する。

ABSTRACT

Visual Place Recognition is a task that aims to predict the place of an image (called query) based solely on its visual features. This is typically done through image retrieval, where the query is matched to the most similar images from a large database of geotagged photos, using learned global descriptors. A major challenge in this task is recognizing places seen from different viewpoints. To overcome this limitation, we propose a new method, called EigenPlaces, to train our neural network on images from different point of views, which embeds viewpoint robustness into the learned global descriptors. The underlying idea is to cluster the training data so as to explicitly present the model with different views of the same points of interest. The selection of this points of interest is done without the need for extra supervision. We then present experiments on the most comprehensive set of datasets in literature, finding that EigenPlaces is able to outperform previous state of the art on the majority of datasets, while requiring 60\% less GPU memory for training and using 50\% smaller descriptors. The code and trained models for EigenPlaces are available at {\small{\url{https://github.com/gmberton/EigenPlaces}}}, while results with any other baseline can be computed with the codebase at {\small{\url{https://github.com/gmberton/auto_VPR}}}.

研究の動機と目的

• 標準的なモデルが著しく異なる角度から撮影された画像を認識できないという、視覚的場所認識（VPR）における視点変動の課題に対処すること。
• 類似した向きの陽性例に依存する既存のメトリクス学習手法の限界を克服し、困難な視点シフトにも一般化できるようにすること。
• 追加のアノテーションを必要とせず、地理的に分散されたトレーニングデータから注目点を自己教師付きクラスタリング法で特定すること。
• 各クラスタ内での複数視点の一貫性を明示的にモデル化することで、視点に頑健なグローバル記述子を学習する深層ニューラルネットワークを訓練すること。
• 視点不変の記述子が、モデルサイズとトレーニングコストを削減しながらも、多様なデータセットにわたる一般化性能を向上させるという点で、効率的に学習可能であることを実証すること。

提案手法

• 画像の地理的分布に基づいて、トレーニングマップを細分化されたセルに分割する。
• 各セル内で、画像位置の主成分を計算し、シーンの主要な視点（焦点点）を特定する。
• すべての画像が同じ焦点点を向いているクラスタを形成することで、同じ場所の複数視点表現を保証する。
• デュアルロスの目的関数を用いてネットワークをトレーニングする：一方のロスは最初の主成分（フロントビュー）に焦点を当て、もう一方は第二の主成分（サイドビュー）に焦点を当て、さまざまな視点での耐性を促進する。
• 焦点距離のハイパーパrameterを用いて、平均画像位置と焦点点との距離を制御し、異なるデータセットの特性に合わせたチューニングを可能にする。
• 得られたクラスタを対照学習中にハードネガティブおよびハードポジティブとして活用し、モデルが視点不変の特徴を学習するように促進する。

実験結果

リサーチクエスチョン

• RQ1 手動で整備された視点グループや追加の監視に依存せずに、視点に頑健な視覚的場所認識を達成できるか？
• RQ2 地理的主成分に基づくクラスタリングは、標準的なメトリクス学習と比較して、重度の視点シフト下での一般化性能をどのように向上させるか？
• RQ3 多様なデータセットにわたる耐性を達成するための、フロントビューとサイドビューのロス関数における最適なバランスは何か？
• RQ4 提案手法は、性能を損なわずに記述子サイズとトレーニングメモリフットプリントをどの程度削減できるか？
• RQ5 焦点距離の選択が、視点分布が異なるデータセットにおけるモデルの耐性にどのように影響するか？

主な発見

• EigenPlacesは、Pitts30k、Tokyo 24/7、MSLS、St Luciaを含む多数のベンチマークデータセットで最先端の性能を達成し、全データセットの平均 Recall@1 が89.5に達する。
• ベンチマークの6データセット中5つで、以前の最先端手法を上回り、St Luciaでは最高の Recall@1 99.5、Tokyo 24/7 では99.0を記録する。
• 512次元の記述子を備えたResNet-18を用いることで、以前の手法と比較して記述子サイズを50%削減しながら、精度を維持または向上させる。
• 以前の最先端モデルと比較して、60%のGPUメモリ使用量削減が可能であり、標準的なハードウェアでも効率的なトレーニングが可能になる。
• アブレーションスタディの結果、フロントビューとサイドビューの両方のロスを組み合わせた場合が、全データセットで最も優れた全体的な性能を示し、単一ロスのバリアントを上回る。
• 混同行列の分析から、EigenPlacesは大きな視点差を持つ画像間でも高いコサイン類似度を維持しており、視点不変の特徴学習能力が確認される。