[論文レビュー] Large-Scale Image Retrieval with Attentive Deep Local Features

Hyeonwoo Noh, André Araujo+3 more|arXiv (Cornell University)|Dec 19, 2016

Advanced Image and Video Retrieval Techniques参考文献 42被引用数 50

ひとこと要約

この論文は、画像レベルのラベルのみを用いて学習する、アテンション機構を備えたCNNベースの局所特徴記述子であるDELF（DEep Local Feature）を紹介する。大規模なベンチマークにおいて、1回の順伝播でキーポイント選択と局所特徴抽出を同時に学習することで、100万枚を超える画像を含む新規に導入されたGoogle-Landmarksデータセットにおいて、先行するグローバルおよび局所特徴記述子を著しく上回る最先端の性能を達成する。

ABSTRACT

We propose an attentive local feature descriptor suitable for large-scale image retrieval, referred to as DELF (DEep Local Feature). The new feature is based on convolutional neural networks, which are trained only with image-level annotations on a landmark image dataset. To identify semantically useful local features for image retrieval, we also propose an attention mechanism for keypoint selection, which shares most network layers with the descriptor. This framework can be used for image retrieval as a drop-in replacement for other keypoint detectors and descriptors, enabling more accurate feature matching and geometric verification. Our system produces reliable confidence scores to reject false positives---in particular, it is robust against queries that have no correct match in the database. To evaluate the proposed descriptor, we introduce a new large-scale dataset, referred to as Google-Landmarks dataset, which involves challenges in both database and query such as background clutter, partial occlusion, multiple landmarks, objects in variable scales, etc. We show that DELF outperforms the state-of-the-art global and local descriptors in the large-scale setting by significant margins. Code and dataset can be found at the project webpage: https://github.com/tensorflow/models/tree/master/research/delf .

研究の動機と目的

• 実際の課題（遮蔽、ごみ、視点の変化など）に耐性を持つ、大規模な画像検索に最適化された深層局所特徴記述子の開発。
• キーポイントやパッチレベルの高コストなアノテーションを避けるために、画像レベルのアノテーションのみを用いた弱教師あり学習パラダイムの設計。
• 記述子と同一ネットワークを共有するアテンション機構を統合し、意味的なキーポイント選択を可能にすることで、特徴の関連性とマッチング精度を向上。
• 100万枚のデータベース画像と10万枚のクエリ画像を含み、多様性に富んだ大規模で包括的なベンチマーク「Google-Landmarks」を導入し、検索システムの厳密な評価を可能に。
• 提案手法が大規模な環境下で最先端のグローバルおよび局所特徴記述子よりも優れた性能を示すことを実証。

提案手法

• ランドマークデータセットの画像レベルラベルのみを用いて、エンドツーエンドに学習されたCNNベースの局所特徴記述子であるDELFを提案。
• 記述子と同じネットワークを用いて、キーポイントのスコアを算出し、意味的に関連するキーポイントを選択する共有アーキテクチャのアテンション機構を導入。これにより、1回の順伝播で特徴抽出と選択を同時に行える。
• 2段階の訓練プロセスを採用：まず大規模ランドマークデータセットを用いて画像レベルの監視で事前学習し、その後キーポイントアノテーション付きサブセットで微調整することで、局所化精度を向上。
• DELFのスコアとグローバル記述子（例：DIR）のスコアを重み付き平均で融合するラテン統合戦略を採用し、性能を向上。
• 幾何的検証とインデックス化されたDELF特徴を用いた最近傍検索により、一致する特徴に基づいてデータベース画像をランク付け。
• 遮蔽、ごみ、複数のランドマーク、変動するスケールといった課題的状況を想定した、13000のランドマークと130万枚の画像を含む新規の大規模データセット「Google-Landmarks」を活用。

実験結果

リサーチクエスチョン

• RQ1 画像レベルの監視のみで学習された深層局所特徴記述子は、大規模な画像検索において優れた性能を達成できるか？
• RQ2 記述子とパラメータを共有するアテンション機構は、キーポイント選択とマッチング精度を向上させるか？
• RQ3 遮蔽、ごみ、スケールの変動といった課題的状況下で、提案手法は大規模ベンチマーク上でどのように性能を発揮するか？
• RQ4 DELFとグローバル記述子の統合は、単独での使用よりも優れた性能をもたらすか？
• RQ5 データベースに正しい一致がないクエリに対しても、提案手法は頑健であるか？

主な発見

• DELFは、DIRと幾何的検証を組み合わせた場合、Oxf105kでmAP 90.0%、Par106kでmAP 92.8%を達成し、先行手法を著しく上回る。
• 新規に導入されたGoogle-Landmarksデータセットにおいて、部分的遮蔽、背景のごみ、複数のランドマークが存在する状況でも、高い再現率を示し、非一致クエリの状況でも強靭性を示す。
• アテンションベースのキーポイント選択法は、ごみだらけの領域を効果的に除外することができ、定性的な比較でL2ノルムベースの選択やCONGASを上回る特徴局所化性能を示した。
• DELF+FT+ATTは、Oxf5kで83.8%、Par6kで85.0%のmAPを達成し、統合なしでも強力な性能を示し、グローバル記述子と統合することでさらに向上する。
• システムは誤検出を除外するのに役立つ信頼性の高いスコアを生成し、特にデータベースに正しい一致がない場合に特に有効である。
• 定性的な結果から、DELFは困難な視点からのランドマークや物体のマッチングに成功している一方で、CONGASは同様の状況では関連する画像を一切検索できなかった。