[論文レビュー] Local Features and Visual Words Emerge in Activations

Oriane Siméoni, Yannis Avrithis+1 more|arXiv (Cornell University)|May 15, 2019

Advanced Image and Video Retrieval Techniques参考文献 47被引用数 72

ひとこと要約

本稿では、再訓練や追加層を必要とせず、畳み込みニューラルネットワーク（CNN）の活性化テンソルから幾何的に意味のある局所特徴を直接抽出する手法であるDeep Spatial Matching（DSM）を提案する。特徴マップ内の局所的最大値を検出することで空間的整合性を確認し、その結果、拡散ベースの再ランク付けと組み合わせることで、画像検索ベンチマークにおいて最先端の性能を達成し、mAPおよびmP@10が顕著に向上する。

ABSTRACT

We propose a novel method of deep spatial matching (DSM) for image retrieval. Initial ranking is based on image descriptors extracted from convolutional neural network activations by global pooling, as in recent state-of-the-art work. However, the same sparse 3D activation tensor is also approximated by a collection of local features. These local features are then robustly matched to approximate the optimal alignment of the tensors. This happens without any network modification, additional layers or training. No local feature detection happens on the original image. No local feature descriptors and no visual vocabulary are needed throughout the whole process. We experimentally show that the proposed method achieves the state-of-the-art performance on standard benchmarks across different network architectures and different global pooling methods. The highest gain in performance is achieved when diffusion on the nearest-neighbor graph of global descriptors is initiated from spatially verified images.

研究の動機と目的

• グローバルなCNN記述子（検索に効率的）と局所表現（空間的整合性と互換性がある）の間のギャップを埋めること。
• 従来の局所特徴検出器やビジュアルボラティリーに依存せずに、大規模な画像検索における高精度な再ランク付けを可能にすること。
• CNN活性化マップに内在するスパarsityと空間的構造を活用し、マッチングに耐性があり幾何的に一貫性のある特徴を抽出すること。
• ネットワークの変更や微調整なしに、事前学習済みネットワークの活性化テンソルのみを用いて検索性能を向上させること。
• 局所特徴がCNNの活性化に自然に出現し、空間的整合性と拡散ベースの再ランク付けに活用可能であることを示すこと。

提案手法

• 最終畳み込み特徴マップの各チャネルにおいて、画像レベルの検出やパッチ抽出を一切行わず、局所的最大値を局所特徴として検出する。
• これらの局所的最大値をスパースな空間的キーポoinとして用い、2枚の画像の活性化テンソル間で幾何的マッチングを実行する。
• 検出された局所特徴を基に、高速な空間的マッチング（例：RANSACベースのアライメント）を実行し、幾何的変換を推定する。
• 空間的に整合性のあるマッチング結果を用いて、グローバル記述子の近隣ノードグラフ上で拡散を実行することで、初期検索結果を再ランク付けする。
• ネットワークの変更や追加学習を必要とせず、MACやGeMなどの既存のグローバルプーリング手法や再ランク戦略とDSMを統合する。
• 高い活性化値がスパースかつ空間的に局所化されているという事実を活用し、特徴マップから直接効率的で頑健な特徴抽出を可能にする。

実験結果

リサーチクエスチョン

• RQ1 事前の検出や学習を一切行わずに、事前学習済みCNNの活性化テンソルから局所特徴が自然に出現するか？
• RQ2 このような出現した局所特徴を、ビジュアルボラティリーを用いずに、画像検索における空間的整合性の確認に効果的に利用できるか？
• RQ3 活性化に基づく局所特徴を用いた空間的マッチングを、拡散ベースの再ランク付けと組み合わせることで、検索精度が向上するか？
• RQ4 この手法は、異なるネットワークアーキテクチャやグローバルプーリング戦略に対しても最先端の性能を達成できるか？
• RQ5 DSMによる性能向上は、局所特徴そのものによるものではなく、拡散の起点となるトップランク画像の選択が改善されたことによるものか？

主な発見

• DSMは、複数のネットワークとプーリング手法を用いたROxf、ROxf+R1M、RPar、RPar+R1Mベンチマークにおいて、最先端のmAPおよびmP@10を達成した。
• 最も高い性能向上（mAP最大5ポイント、mP@10最大6ポイント）は、DSMを用いて空間的に整合性のあるマッチングが行われたトップランク画像から拡散を開始した場合に得られた。
• 本手法は、局所記述子やビジュアルボラティリーを一切使用しないにもかかわらず、[27]で提案された最良のDELFベース手法を複数のベンチマークで上回った。
• 本手法は、再ランク付けを適用することですべてのベースライン手法を改善し、特にROxfおよびRParデータセットで最大の向上が観察された。
• まれに発生する性能低下（mAP最大1ポイント）は、特徴の多様性が限られ、活性化マップ同士の相関が高いために起因すると考えられる。
• 本手法は、グローバル記述子の効率性と局所マッチングの幾何的正確性を効果的に統合し、ネットワークの変更や追加学習なしに高い性能を達成した。