[論文レビュー] Generalized Contrastive Optimization of Siamese Networks for Place Recognition

Luz María, Nicola Strisciuglio+1 more|arXiv (Cornell University)|Mar 11, 2021

Advanced Image and Video Retrieval Techniques被引用数 14

ひとこと要約

本論文は、視覚的場所認識におけるシアンプルネットワークのための一般化コントラスト型損失（GCL）を提案する。二値ラベルの代わりに連続的な類似度スコアを用いる。MSLS、TB-Places、7Scenesからの自動アノテーション画像ペアを用いて訓練されたモデルは、NetVLAD や Patch-NetVLAD などの最先端手法を複数のベンチマークで上回り、複雑なペアマイニングを必要とせず、優れた精度と一般化性能を達成する。

ABSTRACT

Visual place recognition is a challenging task in computer vision and a key component of camera-based localization and navigation systems. Recently, Convolutional Neural Networks (CNNs) achieved high results and good generalization capabilities. They are usually trained using pairs or triplets of images labeled as either similar or dissimilar, in a binary fashion. In practice, the similarity between two images is not binary, but continuous. Furthermore, training these CNNs is computationally complex and involves costly pair and triplet mining strategies. We propose a Generalized Contrastive loss (GCL) function that relies on image similarity as a continuous measure, and use it to train a siamese CNN. Furthermore, we present three techniques for automatic annotation of image pairs with labels indicating their degree of similarity, and deploy them to re-annotate the MSLS, TB-Places, and 7Scenes datasets. We demonstrate that siamese CNNs trained using the GCL function and the improved annotations consistently outperform their binary counterparts. Our models trained on MSLS outperform the state-of-the-art methods, including NetVLAD, NetVLAD-SARE, AP-GeM and Patch-NetVLAD, and generalize well on the Pittsburgh30k, Tokyo 24/7, RobotCar Seasons v2 and Extended CMU Seasons datasets. Furthermore, training a siamese network using the GCL function does not require complex pair mining. We release the source code at https://github.com/marialeyvallina/generalized_contrastive_loss.

研究の動機と目的

• 視覚的場所認識におけるシアンプルネットワーク学習における二値類似度ラベルの制限を解決すること。
• 高価なペアおよびトリプレットマイニング戦略の必要性を排除することで、計算複雑性を低減すること。
• 多様な場所認識ベンチマークにおけるモデルの一般化性能と性能を向上させること。
• 連続的な類似度スコアを用いた画像ペアの自動アノテーション技術を開発すること。
• より単純で効率的な訓練パラダイムを用いて、最先端の性能を示すこと。

提案手法

• 二値ラベルの代わりに連続的な類似度値を用いる一般化コントラスト型損失（GCL）関数を提案すること。
• MSLS、TB-Places、7Scenes データセットにおける画像ペアに対して、連続的な類似度アノテーションを生成するための3つの自動手法を設計すること。
• 再アノテートされたデータセットを用いて、GCL損失でシアンプルCNNを訓練し、特徴学習を向上させること。
• トレーニング中に連続的监督を活用することで、複雑なペアマイニングの必要性を排除すること。
• リtrievalタスクにおける埋め込み比較により、学習されたシアンプルネットワークを場所認識に活用すること。
• 再現可能性とさらなる研究を支援するため、コードと訓練済みモデルを公開すること。

実験結果

リサーチクエスチョン

• RQ1 連続的な類似度監視は、二値監視と比較して、視覚的場所認識におけるシアンプルネットワークの性能を向上させることができるか？
• RQ2 実世界のデータセットにおいて、連続的な類似度アノテーションを生成するための自動手法はどの程度有効か？
• RQ3 GCLで訓練することで、高価なペアマイニングの必要性がなくなり、精度を維持または向上させることができるか？
• RQ4 提案手法は、Pittsburgh30k、Tokyo24/7、RobotCar Seasons v2 などの多様なベンチマークに良好に一般化できるか？
• RQ5 GCLに基づくシアンプルネットワークは、NetVLAD や Patch-NetVLAD などの最先端手法と比較してどうなるか？

主な発見

• GCLで訓練されたシアンプルネットワークは、MSLS、Pittsburgh30k、Tokyo24/7、RobotCar Seasons v2 を含む、すべての評価ベンチマークで二値監視の対応手法を上回る性能を示した。
• MSLS データセットでは、NetVLAD、NetVLAD-SARE、AP-GeM、Patch-NetVLAD を上回る最先端の性能を達成した。
• 未学習の環境に対しても良好に一般化され、多様な条件やシーンにおいて強力なゼロショット一般化性能を示した。
• 提案された自動アノテーション技術は、高品質な連続的な類似度ラベルを効果的に生成できた。
• GCLで訓練することで、複雑なペアマイニングの必要性がなくなり、トレーニングの複雑性が顕著に低減された。
• 公開されたコードとモデルは、再現可能性を実現し、場所認識分野のさらなる発展を可能にした。