[論文レビュー] An Analysis of Object Embeddings for Image Retrieval.

Bor-Chun Chen, Larry S. Davis+1 more|arXiv (Cornell University)|May 28, 2019

Advanced Image and Video Retrieval Techniques参考文献 36被引用数 5

ひとこと要約

この論文は、事前学習済みの画像分類モデルおよび物体検出モデルから得られるオブジェクト埋め込みを、コンテンツベースの画像検索の文脈で分析する。豊富なアノテーションを有するにもかかわらず、物体検出モデルは分類モデルに比べて劣った埋め込みを生成するが、ハード注目メカニズムとして用いることで検索性能を向上させることができる。著者らは、物体検出フレームワーク内での識別的埋め込みの学習を目的としたガイド付き学生・教師訓練法を提案し、強力な実験的結果を達成した。

ABSTRACT

We present an analysis of embeddings extracted from different pre-trained models for content-based image retrieval. Specifically, we study embeddings from image classification and object detection models. We discover that even with additional human annotations such as bounding boxes and segmentation masks, the discriminative power of the embeddings based on modern object detection models is significantly worse than their classification counterparts for the retrieval task. At the same time, our analysis also unearths that object detection model can help retrieval task by acting as a hard attention module for extracting object embeddings that focus on salient region from the convolutional feature map. In order to efficiently extract object embeddings, we introduce a simple guided student-teacher training paradigm for learning discriminative embeddings within the object detection framework. We support our findings with strong experimental results.

研究の動機と目的

• 事前学習済みの物体検出モデルから得られるオブジェクト埋め込みの、コンテンツベースの画像検索における有効性を評価すること。
• 物体検出モデルが、より豊富なアノテーション（バウンディングボックスやセグメンテーションマスク）を有するにもかかわらず、分類モデルに比べて検索タスクで劣る理由を理解すること。
• 物体検出モデルが、顕著な領域に注目するための注目メカニズムとして機能し、埋め込み品質を向上させることを検証すること。
• 物体検出フレームワーク内での埋め込みの識別的特徴を向上させる訓練パラダイムを構築すること。
• 標準的な検索ベンチマーク上で、強力なベースラインと比較して提案手法の実験的妥当性を検証すること。

提案手法

• コンテンツベースの画像検索タスクにおける比較のため、事前学習済みの画像分類モデルおよび物体検出モデルから埋め込みを抽出する。
• 物体検出モデルをハード注目モジュールとして用い、特徴マップから顕著な領域を局所化および抽出する。
• 教師の特徴マップから学生ネットワークが識別的埋め込みを学ぶことを目的とした、ガイド付き学生・教師蒸留フレームワークを設計する。
• 対照的損失を用いて学生ネットワークを訓練し、陽性ペア間の類似度を最大化し、陰性ペア間の類似度を最小化する。
• 局所化と埋め込み品質を保持するため、物体検出パイプライン全体にわたりエンドツーエンドで手法を適用する。
• 完全な検出モデルを再訓練せずに、検索特化損失を用いて学生モデルを微調整し、識別的特徴を向上させる。

実験結果

リサーチクエスチョン

• RQ1 物体検出モデルから得られる埋め込みは、画像分類モデルのものと比べて、検索性能においてどのように異なるか？
• RQ2 バウンディングボックスやセグメンテーションマスクを備えながらも、なぜ物体検出モデルは検索タスクにおいて弱い埋め込みを生成するのか？
• RQ3 物体検出モデルを注目メカニズムとして活用することで、局所化精度と埋め込み品質を向上させることができるか？
• RQ4 物体検出フレームワーク内での識別的埋め込みの有効な学習を可能にする訓練戦略は何か？
• RQ5 ガイド付き蒸留アプローチを用いることで、物体検出ベースの埋め込みを用いた検索精度はどの程度向上するか？

主な発見

• 物体検出モデルは、バウンディングボックスやセグメンテーションマスクを有するにもかかわらず、画像分類モデルのそれとは著しく劣った埋め込みを生成する。
• 全体的な性能が低いにもかかわらず、物体検出モデルは特徴マップ内の顕著な領域に注目する有効なハード注目メカニズムとして機能する。
• 提案されたガイド付き学生・教師蒸留フレームワークは、物体検出フレームワーク内での埋め込み品質の向上に成功した。
• 本手法は強力な検索性能を達成し、ベースラインの検出ベース埋め込みを上回り、標準ベンチマークでは分類ベースのベースラインに並ぶか、それを上回る結果を得た。
• アブレーションスタディの結果、蒸留プロセスが識別的特徴と検索精度の向上に不可欠であることが確認された。
• 局所化を意識した特徴抽出（検出ヘッドを介した）は、適切な埋め込み訓練と組み合わせることで、効果的に活用可能であることが示された。