[論文レビュー] Visual Instance Retrieval with Deep Convolutional Networks

Ali Sharif Razavian, Josephine Sullivan+2 more|arXiv (Cornell University)|Dec 20, 2014

Advanced Image and Video Retrieval Techniques被引用数 80

ひとこと要約

本稿では、事前学習済みConvNetを用いたマルチスケールで空間的に一貫性のあるパイプラインを提案し、視覚的インスタンス検索において、適切に抽出された場合、汎用的なImageNet学習済み特徴量が最先端の手法を上回ることを示している。このアプローチは、遅延畳み込み層の特徴量と空間プーリング、幾何的不変性を活用しており、データセット固有の微調整なしに5つのベンチマークデータセットでSOTA性能を達成している。

ABSTRACT

This paper provides an extensive study on the availability of image representations based on convolutional networks (ConvNets) for the task of visual instance retrieval. Besides the choice of convolutional layers, we present an efficient pipeline exploiting multi-scale schemes to extract local features, in particular, by taking geometric invariance into explicit account, i.e. positions, scales and spatial consistency. In our experiments using five standard image retrieval datasets, we demonstrate that generic ConvNet image representations can outperform other state-of-the-art methods if they are extracted appropriately.

研究の動機と目的

• 適切に抽出された場合、汎用的なConvNet表現が視覚的インスタンス検索において最先端の手法を上回るかどうかを調査すること。
• スケール、位置、空間的一致性といった幾何的不変性を明示的に考慮するように、マルチスケール特徴抽出を通じて検索パイプラインを設計すること。
• 中程度のメモリ容量（10k～100k次元）および小規模なメモリ容量（≤1kバイト）の両設定におけるConvNetベースの表現の性能を評価すること。
• 提案されたパイプラインが汎用的であり、データセット固有のバイアスやクエリ拡張のような後処理に依存しないことを実証すること。

提案手法

• スケールおよび位置の変動に強いように、事前学習済みConvNet（例：AlexNet）の最後の畳み込み層から複数のスケールで局所的特徴量を抽出する。
• 次に、次元削減と識別能の向上のため、特徴マップに最大プーリングとPCAホワイトニングを適用する。
• 空間的一致性を保ちながら特徴量を集約する空間プーリングを用いることで、空間的配置が重要なデータセットでの性能向上を図る。
• 同じ画像を4つの異なるスケールで処理し、対応する部分領域から特徴量を抽出することで、マルチスケール検索戦略を実装する。
• 部分領域特徴量から導出される距離行列を用いて類似度スコアを計算し、O(L³)の計算複雑度で効率的な検索を可能にする。
• 小規模なメモリ表現のための強力な量子化とCPU/GPU間での並列処理により、メモリおよび計算効率を最適化する。

実験結果

リサーチクエスチョン

• RQ1 適切なパイプラインを用いて抽出された場合、汎用的で事前学習済みのConvNet特徴量は、視覚的インスタンス検索において、特殊に設計された最先端手法を上回るのか？
• RQ2 マルチスケール特徴抽出は、スケールや位置の変化といった幾何的変動に対して、視覚的インスタンス検索の性能をどのように向上させるのか？
• RQ3 空間プーリングとPCAホワイトニングは、空間的配置が主な識別的特徴となるデータセットにおいて、検索性能にどのような影響を与えるのか？
• RQ4 本パイプラインは、データセット固有の微調整やクエリ拡張のような後処理に依存せずに、どの程度SOTA性能を達成できるのか？

主な発見

• 提案されたパイプラインは、クエリ拡張や再ランク処理を用いない5つの標準的な検索データセット（Oxford5k, Paris6k, Holidays, UKB, Sculpture）すべてでSOTA性能を達成した。
• Oxford5kでは、マルチスケール、マルチレイヤー、異なるアーキテクチャの特徴量を統合した場合、平均平均精度（mAP）が87.2に達し、先行手法を著しく上回った。
• 空間プーリングは一貫して性能向上をもたらし、特に空間的配置が主な識別的要因となるSculptureデータセットで顕著だった。
• ジャイタリングとPCAホワイトニングは、全データセットで一貫して有益であった一方、最後の畳み込み層での最大プーリングが最適な特徴表現を提供した。
• 1枚の参照画像あたり32kB、1枚のクエリ画像あたり16kBのメモリフットプリントを達成し、標準的なハードウェア上で効率的なメモリ内処理を可能にした。
• 計算コストは管理可能である：Oxford5kでは単一CPUコアで距離行列計算に30～40秒、K40 GPUでは50～60msを要し、実用的なデプロイメントが可能となった。