[論文レビュー] An accurate retrieval through R-MAC+ descriptors for landmark recognition

Federico Magliani, Andrea Prati|arXiv (Cornell University)|Jun 22, 2018

Advanced Image and Video Retrieval Techniques参考文献 27被引用数 5

ひとこと要約

この論文は、改善された領域検出と、データベース画像からの代表的パッチである「db リージョン」を用いた新しいリトリーブ手法を組み合わせた R-MAC+ ディスクリプタを提案し、ランドマーク認識の精度を顕著に向上させている。本手法は、微調整を用いない状態で、Holidays データセットにおいて最先端の mAP を達成し、Oxford5k および Paris6k でも競争力ある結果を示しており、R-MAC に比べそれぞれ +7% および +3% の向上を達成した。

ABSTRACT

The landmark recognition problem is far from being solved, but with the use of features extracted from intermediate layers of Convolutional Neural Networks (CNNs), excellent results have been obtained. In this work, we propose some improvements on the creation of R-MAC descriptors in order to make the newly-proposed R-MAC+ descriptors more representative than the previous ones. However, the main contribution of this paper is a novel retrieval technique, that exploits the fine representativeness of the MAC descriptors of the database images. Using this descriptors called "db regions" during the retrieval stage, the performance is greatly improved. The proposed method is tested on different public datasets: Oxford5k, Paris6k and Holidays. It outperforms the state-of-the- art results on Holidays and reached excellent results on Oxford5k and Paris6k, overcame only by approaches based on fine-tuning strategies.

研究の動機と目的

• MAC ディスクリプタ計算のための顕著な特徴をよりよく局所化するために、画像のアスペクト比を保持するアダプティブグリッドベースの領域検出器を導入し、R-MAC ディスクリプタの代表性を向上させること。
• 標準的な R-MAC リトリーブの限界を補うために、クエリマッチング時にデータベース画像から抽出した識別的リージョンを活用すること。
• モバイルおよびリアルタイムアプリケーションに適した効率性を維持しつつ、精度を向上させるリトリーブ手法の開発。
• 高価な微調整戦略に依存せずに、公的ベンチマークで最先端の性能を達成すること。
• 適応グリッドとリージョンベースのマッチングを用いて、特徴の局所化とマッチングの正確性を向上させることで、ランドマーク認識における意味的ギャップを埋めること。

提案手法

• 画像のアスペクト比を保持するアダプティブグリッドベースの領域検出器を導入し、MAC ディスクリプタ計算のための顕著な特徴をよりよく局所化する。
• より大きな特徴マップを用いることで、マルチスケール R-MAC アプローチを強化し、空間的解像度と特徴の識別能を向上させる。
• クエリディスクリプタを全体のディスクリプタではなく、個々の「db リージョン」——データベース画像から抽出された代表的パッチ——にマッチングする、新しいリトリーブ戦略を提案する。
• リトリーブ中に、データベース画像から得た最も識別的なリージョン（db リージョン）を参照ポイントとして用い、グローバルディスクリプタよりもマッチング精度を向上させる。
• 各 db リージョンが、クエリディスクリプタとの類似度に基づいて候補画像に投票する投票メカニズムを適用し、視点や照明変化に対してより頑健になるようにする。
• 事前に計算された R-MAC ディスクリプタを再利用し、CNN の再トレーニングや微調整を避けることで、計算効率を維持する。

Figure 1. Representation of feature maps extracted from a certain layer of CNN

実験結果

リサーチクエスチョン

• RQ1 固定グリッドと比較して、アダプティブグリッドベースの領域検出は、R-MAC ディスクリプタの識別力を向上させることができるか？
• RQ2 マルチスケール特徴マップを用いることで、ランドマーク認識における R-MAC ディスクリプタの代表性が向上するか？
• RQ3 グローバルディスクリプタではなく、個々のデータベースリージョン（「db リージョン」）にクエリディスクリプタをマッチングすることで、リトリーブ精度が顕著に向上するか？
• RQ4 提案手法の「db リージョン」リトリーブ手法は、Oxford5k、Paris6k、Holidays などのベンチマークデータセットにおいて、標準的な R-MAC や最先端手法と比較してどのように評価されるか？
• RQ5 提案手法は、事前学習済みの CNN を微調整しない状態で、どの程度最先端の性能を達成できるか？

主な発見

• 提案された R-MAC+ と「db リージョン」リトリーブ手法は、Holidays データセットで平均平均精度（mAP）94.37% を達成し、すべての先行非微調整手法を上回った。
• Holidays の回転版では、95.87% の mAP を達成し、回転および視点変化に対して強い耐性を示した。
• 微調整なしで、Oxford5k では R-MAC に比べ +7% mAP（85.39% 対 77.30%）、Paris6k では +3% mAP（91.90% 対 86.50%）の向上を達成した。
• 「db リージョン」リトリーブ戦略は、Oxford5k および Paris6k での性能を顕著に向上させ、グローバルディスクリプタよりも局所的で代表的なリージョンがマッチングに有効であることを示した。
• クエリ拡張や微調整なしでも、競争力ある結果を達成した——Oxford5k および Paris6k では、Gordo et al. (2017) の微調整済みモデルにのみ劣った。
• クエリ拡張の前後で、提案手法と R-MAC（Gordo et al.）との性能差は一貫しており、主な改善はディスクリプタおよびリトリーブ設計自体に起因していることが示された。

Figure 3. Pipeline of creation of ”db regions” for the db images