[論文レビュー] A Baseline for Visual Instance Retrieval with Deep Convolutional Networks

Ali Sharif Razavian, Josephine Sullivan+2 more|arXiv (Cornell University)|Dec 20, 2014

Advanced Image and Video Retrieval Techniques参考文献 24被引用数 92

ひとこと要約

この論文は、6つの標準的な視覚的インスタンスリtrievalベンチマークで最先端の手法を上回る、シンプルでファインチューニングを伴わないConvNetベースの画像表現パイプラインを紹介している。32バイトのコンactな表現で強力な性能を達成しており、ドメイン特化された適応なしに事前学習済みConvNetが強力なベースラインとして機能できることを示している。

ABSTRACT

This paper presents a simple pipeline for visual instance retrieval exploiting image representations based on convolutional networks (ConvNets), and demonstrates that ConvNet image representations outperform other state-of-the-art image representations on six standard image retrieval datasets for the first time. Unlike existing design choices, our image representation does not require fine-tuning or learning with data similar to the test set. Furthermore, we consider the challenge Can you construct a tiny image representation with memory requirements less than or equal to 32 bytes that can successfully perform retrieval? We report the promising performance of our tiny ConvNet based representation.

研究の動機と目的

• ディープ畳み込みニューラルネットワークを用いた、強力でシンプルなベースラインを視覚的インスタンスリtrieバルの分野に確立すること。
• ファインチューニングなしに、事前学習済みConvNet特徴量が既存の最先端の画像表現を上回ることを評価すること。
• メモリ使用量が ≤32 バイトである高圧縮な画像表現を構築することが可能かどうかを調査すること。
• モデルをテストデータに適応させない、または複雑なアーキテクチャを用いない状態で、強力なリtrieバル性能を達成できることを実証すること。

提案手法

• 本手法は、深層ネットワークの最終全結合層から抽出された、事前学習済み畳み込みニューラルネットワーク（ConvNet）特徴量を用いる。
• 特徴量はL2正規化され、リtrieバル性能の向上とスケール変動への感受性の低減が図られる。
• ファインチューニングを回避し、テストセットに類似した学習データを必要としない。
• 特徴量ベクトルを量子化または圧縮することで、32バイト以内に収まるコンパクトな表現が構築される。
• クエリとギャラリーの特徴量間のコサイン類似度を用いてリtrieバルが実行される。
• 本アプローチは、視覚的インスタンスリtrieバルのための6つの標準ベンチマークデータセットで評価される。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みConvNetベースの表現は、視覚的インスタンスリtrieバルにおいて、既存の最先端の画像表現を上回ることができるか？
• RQ2 ファインチューニングを伴わないConvNet表現は、テストデータの分布に適応させない状態でも強力な性能を達成できるか？
• RQ3 32バイトの画像表現を構築することが可能で、依然として効果的なリtrieバルを可能にするか？
• RQ4 本手法は、正確性とメモリ効率の観点から、既存の手法と比較してどのように差をつけるか？

主な発見

• 提案されたConvNetベースの表現は、6つの標準的な視覚的インスタンスリtrieバルベンチマークで、すべての先行研究の最先端手法を上回った。
• 本手法は、ファインチューニングやテストセットへの適応なしに強力な性能を達成しており、一般化能力の高さが示された。
• 32バイト未満のメモリ使用量を満たすコンパクトな画像表現が成功裏に構築され、リtrieバルに有効であることが実証された。
• 結果として、シンプルで事前学習済みのディープ特徴量を用いた視覚的インスタンスリtrieバルの新しいベースラインが確立された。