[論文レビュー] Detect-to-Retrieve: Efficient Regional Aggregation for Image Search

Marvin Teichmann, André Araujo+2 more|arXiv (Cornell University)|Dec 4, 2018

Advanced Image and Video Retrieval Techniques参考文献 40被引用数 4

ひとこと要約

本稿では、検出されたランドマークを用いて関連する画像領域を選択することで、効率的かつ正確な画像検索を実現する「Detect-to-Retrieve」を提案する。新たな領域集約選択的マッチングカーネル（R-ASMK）を適用することで、次元の増加を伴わせずに検索精度を向上させ、Revisited Oxford-Hardでは9.3%、Revisited Paris-Hardでは1.9%の優れた性能を達成した。これには、86,000枚の手動アノテート済みランドマークバウンディングボックスを含む新規データセットを用いた。

ABSTRACT

Retrieving object instances among cluttered scenes efficiently requires compact yet comprehensive regional image representations. Intuitively, object semantics can help build the index that focuses on the most relevant regions. However, due to the lack of bounding-box datasets for objects of interest among retrieval benchmarks, most recent work on regional representations has focused on either uniform or class-agnostic region selection. In this paper, we first fill the void by providing a new dataset of landmark bounding boxes, based on the Google Landmarks dataset, that includes $86k$ images with manually curated boxes from $15k$ unique landmarks. Then, we demonstrate how a trained landmark detector, using our new dataset, can be leveraged to index image regions and improve retrieval accuracy while being much more efficient than existing regional methods. In addition, we introduce a novel regional aggregated selective match kernel (R-ASMK) to effectively combine information from detected regions into an improved holistic image representation. R-ASMK boosts image retrieval accuracy substantially with no dimensionality increase, while even outperforming systems that index image regions independently. Our complete image retrieval system improves upon the previous state-of-the-art by significant margins on the Revisited Oxford and Paris datasets. Code and data available at the project webpage: https://github.com/tensorflow/models/tree/master/research/delf.

研究の動機と目的

• 画像内の小さな物体やごみだらけの物体を効果的に検索する課題に、検索用の領域選択を改善すること。
• 均一またはクラスに依存しない領域選択を採用する従来の領域検索手法が抱える非効率性と高メモリコストを軽減すること。
• オブジェクトの意味情報を活用して関連領域にインデックスを集中させることで、最小限の計算コストで精度を向上させる手法を開発すること。
• 訓練用に強力なオブジェクト検出器を学習できるよう、86,000枚の手動アノテート済みランドマークバウンディングボックスを含む新規データセットを提供すること。
• 検出された領域を用いて、記述子の次元を増加させずに、全体的な画像表現を強化する領域集約メカニズムを設計すること。

提案手法

• 本手法は、15,000個のユニークなランドマークを対象に、86,000枚の画像に手動でカスタマイズされたバウンディングボックスを備えた新規データセットを導入し、正確なランドマーク検出器の学習を可能にする。
• 学習済みのオブジェクト検出器（Faster R-CNNおよびSSD）を用いて、画像内の顕著な領域を特定し、固定またはクラスに依存しない領域選択に代わる。
• 領域集約選択的マッチングカーネル（R-ASMK）は、各領域のVLAD記述子を和集合プーリングと各ビジュアルワードの正規化を用いて統合し、一貫性があり判別力のある画像表現を生成する。
• R-ASMKは、検出された領域内での特徴の空間的位置に基づいて、局所的特徴を再重み付けすることで、顕著な領域内の特徴の関連性を強化する。
• 深層局所特徴（DELF）を用い、記述子のサイズを増加させずに、R-ASMKを適用することで検索時の類似度推定を向上させる。
• 本手法は、領域ベースの表現学習と選択的マッチングカーネルを統合し、画像検索パイプラインにおける効率的なフィルタリングとリランキングを可能にする。

実験結果

リサーチクエスチョン

• RQ1 固定またはクラスに依存しない手法と比較して、学習済みオブジェクト検出器はごみだらけのシーンにおける領域選択を改善できるか？
• RQ2 領域に依存する表現は、記述子の次元を増加させずに検索精度を向上させられるか？
• RQ3 専用の検出モデルを用いてオブジェクトの意味情報を活用することで、Revisited Oxford や Paris といった標準ベンチマークでより良い性能が得られるか？
• RQ4 R-ASMKカーネルは、独立した領域インデックス化やグローバル表現手法と比較して、精度と効率の面で優れているか？
• RQ5 人手によるランドマークバウンディングボックスデータセットは、検出器の汎化性能と検索性能をどの程度向上させるか？

主な発見

• 提案手法は、Revisited Oxford-Hardデータセットにおいて平均平均精度（mAP）を9.3%絶対値で向上させ、従来の最先端手法を大きく上回った。
• Revisited Paris-Hardデータセットでは、従来手法と比較して平均平均精度（mAP）が1.9%絶対値で向上した。
• R-ASMKカーネルは、記述子の次元を増加させずに、独立した領域インデックス化を採用するシステムを上回る性能を示した。
• 学習済みランドマーク検出器は、600,000ステップの学習後、約85%のmAPを達成した。SSDベースのモデルはFaster R-CNNよりも収束が早く、わずかに優れた性能を示した。
• 可視化結果から、検出器は顕著なランドマークに注目している一方で、RMAC や Selective Search は関連性が低いか、正確に一致しない領域を抽出していることが明らかになった。
• 本手法は、データベースサイズの増加がわずかである一方で、従来の領域検索技術に比べて顕著な精度向上を達成した。