[論文レビュー] Learning Super-Features for Image Retrieval

Philippe Weinzaepfel, Thomas G. Lucas+2 more|arXiv (Cornell University)|Jan 31, 2022

Advanced Image and Video Retrieval Techniques被引用数 13

ひとこと要約

本稿では、反復的トランスフォーマーモジュール（LIT）を介して学習される中レベルの注意ベースの画像表現、Super-featuresを提案する。この手法は、順序付けられた識別性が高く重複のない特徴を生成する。画像レベルのラベルのみを用いてSuper-featuresに直接コントラスト損失を適用することで、従来の局所特徴ベースの手法と比較して顕著にメモリ使用量を削減しながら、ランドマーク検索ベンチマークで最先端の性能を達成する。

ABSTRACT

Methods that combine local and global features have recently shown excellent performance on multiple challenging deep image retrieval benchmarks, but their use of local features raises at least two issues. First, these local features simply boil down to the localized map activations of a neural network, and hence can be extremely redundant. Second, they are typically trained with a global loss that only acts on top of an aggregation of local features; by contrast, testing is based on local feature matching, which creates a discrepancy between training and testing. In this paper, we propose a novel architecture for deep image retrieval, based solely on mid-level features that we call Super-features. These Super-features are constructed by an iterative attention module and constitute an ordered set in which each element focuses on a localized and discriminant image pattern. For training, they require only image labels. A contrastive loss operates directly at the level of Super-features and focuses on those that match across images. A second complementary loss encourages diversity. Experiments on common landmark retrieval benchmarks validate that Super-features substantially outperform state-of-the-art methods when using the same number of features, and only require a significantly smaller memory footprint to match their performance. Code and models are available at: https://github.com/naver/FIRe.

研究の動機と目的

• 局所特徴ベースの画像検索における、学習時（グローバル損失）と推論時（局所マッチング）の不一致を解消する。
• 標準的な局所CNN特徴における重複と低識別性を克服し、中レベルで構造化された表現を学習する。
• 画像レベルラベルのみを用いて、順序付けられた識別性のある特徴のセットを学習可能でエンドツーエンドのフレームワークを構築する。
• 局所特徴を用いた最先端の手法と比較して、メモリフットプリントを削減しながら、検索精度を維持または向上させる。
• 意味的順序付けられた特徴のセットを学習することで、異なる意味のある画像パターンに焦点を当てた効果的な特徴マッチングを可能にする。

提案手法

• CNN特徴マップから、学習されたテンプレートとリサidual接続を用いて、N個のSuper-featuresの順序付き集合を生成する反復的局所特徴統合トランスフォーマー（LIT）モジュールを提案する。
• 同一画像ペア内の一致するSuper-featuresをペアリングするコントラスト損失を用い、Super-featuresレベルでの画像間対応を直接最適化する。
• 1枚の画像内におけるN個のSuper-featuresの注視マップ同士の相関を低減するための非相関損失を導入する。
• インスタンスレベルやピクセルレベルのアノテーションを必要とせず、画像レベルラベルのみを用いて、ネットワーク全体をエンドツーエンドで訓練する。
• テスト時にASMK（集約SIFTマッチングカーネル）を用いてSuper-featuresをマッチングおよび集約し、標準の検索プロトコルに従う。
• Super-featuresの順序付けられた性質を活用することで、標準的な局所特徴と比較してマッチングの信頼性を向上させ、重複を低減する。

実験結果

リサーチクエスチョン

• RQ1 局所特徴マッチングやインスタンスレベルの監視に依存せずに、中レベルで注意ベースの特徴を効果的に学習し、画像検索に応用可能か？
• RQ2 コントラスト損失と非相関損失によるSuper-featuresの直接的監視は、局所特徴のグローバル損失監視と比較して、検索精度を向上させるか？
• RQ3 反復的注意メカニズムは、既存のオブジェクト中心の注意モジュールと比較して、より多くの数、より多様で、より識別性の高い特徴集合を生成可能か？
• RQ4 提案手法は、局所特徴を用いた最先端の手法と比較して、より良い性能を達成するか？また、メモリ使用量は少ないか？
• RQ5 100万枚のノイズ画像を含む大規模な設定下でも、モデルの一般化性能はどのように保たれるか？

主な発見

• 提案手法のFIReは、R-OxfordおよびR-Parisベンチマークで最先端の性能を達成し、同じ数の特徴を用いた先行手法を上回る。
• R-Oxfordでは、FIReはmAP 85.3%（R50バックボーン）を達成し、ASMKを用いた前回の最先端手法（HOW）と比較して9.9ポイントも高い。
• R-Parisでは、FIReは70.0%のmAPを達成し、ベースライン手法（HOW）と比較して12.2ポイントも向上し、優れた一般化性能を示している。
• 最先端の局所特徴手法と比較して、最大50%のメモリフットプリント削減を実現しながら、同等またはそれ以上の性能を維持している。
• 100万枚のノイズ画像を用いた実験では、性能向上がスケールに強く依存せず、一般化性能とロバスト性が確認された。
• アブレーションスタディの結果、特徴相関が低く、マッチング精度が高いことから、Super-featuresは標準的な局所特徴と比較して著しく重複が少なく、識別性が高いことが示された。