[論文レビュー] Multi-scale Orderless Pooling of Deep Convolutional Activation Features

Yunchao Gong, Liwei Wang+2 more|arXiv (Cornell University)|Mar 7, 2014

Advanced Image and Video Retrieval Techniques参考文献 32被引用数 8

ひとこと要約

本稿では、マルチスケールの局所パッチから活性化を抽出し、各スケールで順序なしVLADプーリングを適用し、その結果を連結することで、深層CNN特徴を向上させるMulti-Scale Orderless Pooling (MOP-CNN)を提案する。この手法は、微調整なしにSUN397およびMIT Indoor Scenesで最先端の性能を達成し、ILSVRCおよびHolidaysでも競争力ある結果を示す。幾何的不変性を向上させつつ、識別力も保持している。

ABSTRACT

Deep convolutional neural networks (CNN) have shown their promise as a universal representation for recognition. However, global CNN activations lack geometric invariance, which limits their robustness for classification and matching of highly variable scenes. To improve the invariance of CNN activations without degrading their discriminative power, this paper presents a simple but effective scheme called multi-scale orderless pooling (MOP-CNN). This scheme extracts CNN activations for local patches at multiple scale levels, performs orderless VLAD pooling of these activations at each level separately, and concatenates the result. The resulting MOP-CNN representation can be used as a generic feature for either supervised or unsupervised recognition tasks, from image classification to instance-level retrieval; it consistently outperforms global CNN activations without requiring any joint training of prediction layers for a particular target dataset. In absolute terms, it achieves state-of-the-art results on the challenging SUN397 and MIT Indoor Scenes classification datasets, and competitive results on ILSVRC2012/2013 classification and INRIA Holidays retrieval datasets.

研究の動機と目的

• グローバルCNN活性化は平行移動、回転、スケーリングに対して感受性が高いため、その幾何的不変性を向上させること。
• 教師ありおよび教師なし認識タスクの両方で性能を向上させる汎用的で微調整なしの特徴表現を開発すること。
• 局所CNN特徴の順序なしプーリングが、頑健性と識別力においてグローバル活性化を上回る可能性があるかどうかを検証すること。
• タスク固有の再トレーニングなしに、マルチスケールの局所特徴の集約が、挑戦的なベンチマークで最先端の結果を達成できることを示すこと。

提案手法

• 複数のスケールレベル（レベル1：フル画像、レベル2：128×128パッチ、レベル3：64×64パッチ）で局所画像パッチから深層CNN活性化特徴を抽出する。
• 細かいスケールのパッチからの活性化にVLAD（局所集約記述子のベクトル）プーリングを適用し、順序なしで不変な表現を生成する。
• グローバルCNN活性化（4096次元）と、細かいスケールからのVLAD符号化特徴を連結して、最終的なMOP-CNN記述子を構築する。
• 効率的な検索を実現するために、最終記述子をPCAおよびホワイトニングで圧縮しつつ、高い性能を維持する。
• 訓練セットのVLAD特徴に基づいて100個の視覚的単語のコードブックを学習し、効果的なVLAD符号化を可能にする。
• すべてのデータセットに同一のハイパーパrameter（パッチサイズ、コードブックサイズ、PCA次元）を適用し、一般化を確保する。

実験結果

リサーチクエスチョン

• RQ1 局所CNN特徴の順序なしプーリングは、平行移動、回転、スケーリングなどの幾何変換に対して不変性を向上させることができるか？
• RQ2 局所特徴のマルチスケール集約は、画像分類および検索タスクにおいてグローバルCNN活性化を上回るか？
• RQ3 汎用的で微調整なしの特徴表現は、多様なベンチマークで最先端の性能を達成できるか？
• RQ4 MOP-CNNの性能は、FVやVLADといった既存のコンパクト記述子と比べて検索タスクでどのように異なるか？

主な発見

• MOP-CNNはINRIA Holidays検索データセットで78.82%のmAPを達成し、グローバルCNN活性化を上回り、最先端の手法と同等の性能を示した。
• PCAおよびホワイトニングを適用したMOP-CNNは記述子を2048次元に圧縮しながら、Holidaysで80.18%のmAPを達成し、高い効率性と性能を両立した。
• SUN397データセットでは、微調整なしで78.42%のトップ-1正答率を達成し、新たな最先端の結果を樹立した。
• MIT Indoor Scenesでは、マックスプーリングバージョンを用いて76.23%の正答率を達成し、グローバルCNN特徴を著しく上回った。
• レベル1（グローバル）とレベル3（64×64パッチ）の組み合わせは、Holidaysで78.92%のmAPを達成し、細かいスケールの局所特徴の重要性を示した。
• 実証的分析により、グローバルCNN活性化は幾何的変形に対して感受性が強い一方、MOP-CNNは著しく頑健であることが確認された。