[論文レビュー] Exploiting Local Features from Deep Networks for Image Retrieval

Joe Yue-Hei Ng, Fan Yang+1 more|arXiv (Cornell University)|Apr 20, 2015

Advanced Image and Video Retrieval Techniques参考文献 31被引用数 85

ひとこと要約

本稿では、事前学習済みの深層ネットワーク（OxfordNetおよびGoogLeNet）の途中および低レベルの畳み込み層を活用し、局所特徴をVLAD符号化によってコンパクトな128次元記述子に集約することで、インスタンスレベルの画像検索を実現する手法を提案する。下位層が最終層よりも局所的対象パターンをよりよく保持しており、入力解像度を高めることで特徴品質が向上することを示し、3つのベンチマークデータセットのうち2つで、低次元表現を用いて最先端の性能を達成した。

ABSTRACT

Deep convolutional neural networks have been successfully applied to image classification tasks. When these same networks have been applied to image retrieval, the assumption has been made that the last layers would give the best performance, as they do in classification. We show that for instance-level image retrieval, lower layers often perform better than the last layers in convolutional neural networks. We present an approach for extracting convolutional features from different layers of the networks, and adopt VLAD encoding to encode features into a single vector for each image. We investigate the effect of different layers and scales of input images on the performance of convolutional features using the recent deep networks OxfordNet and GoogLeNet. Experiments demonstrate that intermediate layers or higher layers with finer scales produce better results for image retrieval, compared to the last layer. When using compressed 128-D VLAD descriptors, our method obtains state-of-the-art results and outperforms other VLAD and CNN based approaches on two out of three test datasets. Our work provides guidance for transferring deep networks trained on image classification to image retrieval tasks.

研究の動機と目的

• 事前学習済みCNNの下位層または上位層からの特徴が、インスタンスレベルの画像検索においてより効果的かどうかを調査すること。
• 入力画像のスケールが畳み込み特徴の品質および検索性能に与える影響を検討すること。
• マルチスケール特徴とVLAD符号化を組み合わせ、コンパクトで識別力の高い画像表現を構築する手法を開発すること。
• 中間層が最終層を上回る理由について、実験的および視覚的情報を提供すること。
• 中間層からの128次元VLAD記述子が、高次元表現やSIFTベースの手法を上回ることを示すこと。

提案手法

• OxfordNetおよびGoogLeNetの複数の畳み込み層（例：Inception 4e、Inception 5b、conv4_2、conv5_1）から活性化マップを抽出する。
• 局所畳み込み特徴をVLAD符号化により1枚の画像につき1つのベクトルに集約し、空間的および局所パターン情報を保持する。
• マルチスケール入力（元サイズおよびより高解像度）を用いて、層ごとの特徴表現へのスケール効果を評価する。
• VLAD記述子を128次元に圧縮するため、PCAおよびホワイトニングを適用し、効率的な保存および検索を実現する。
• 最も性能の良い層から得たマルチスケール特徴を、異なるスケールからのVLAD記述子を連結することで統合する。
• Holidays、Oxford、Parisのデータセットを用いて、標準ベンチマークで性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みCNNの下位層または上位層からの特徴が、インスタンスレベルの画像検索においてより優れているか？
• RQ2 入力画像のスケールが畳み込み特徴の品質および検索精度に与える影響は？
• RQ3 中間層からのVLAD符号化特徴が、低次元表現を用いても競争力のある性能を達成できるか？
• RQ4 なぜ下位層がインスタンス検索タスクにおいて局所パターンをよりよく保持できるのか？
• RQ5 マルチスケール特徴抽出は、単一スケール入力と比較して検索性能を向上させるか？

主な発見

• 中間層または下位層（例：Inception 4e、conv4_2）からの特徴が、インスタンスレベルの画像検索において最終層からの特徴を上回る。
• 高解像度の入力により、深層の特徴品質が顕著に向上し、局所パターンを効果的に捉えることができる。
• 提案手法は、HolidaysおよびParisデータセットで128次元VLAD記述子を用いて最先端の性能を達成した。
• 128次元の表現であっても、BoWおよびVLAD符号化を用いたSIFTベースの手法、およびMOP-CNN（512次元）のような高次元CNNベース手法を上回る性能を示した。
• ネットワークの微調整や大規模データの使用を行わず、[3]を上回る性能を達成した。これは、層選択とスケールに配慮した特徴抽出の有効性を示している。
• 空間情報を除去すると性能が著しく低下するため、局所特徴符号化およびマルチスケール処理の重要性が浮き彫りになった。