[論文レビュー] Aggregating Deep Convolutional Features for Image Retrieval

Artem Babenko, Victor Lempitsky|arXiv (Cornell University)|Oct 26, 2015

Advanced Image and Video Retrieval Techniques参考文献 27被引用数 235

ひとこと要約

本稿では、和集合プーリングを用いて深層畳み込み特徴を統合することで、画像検索用の簡潔かつ非常に効果的なグローバル画像記述子であるSPoC（Sum-Pooled Convolutional Features）を提案する。Fisherベクトルのような複雑な埋め込みに依存する従来手法とは異なり、SPoCは、256次元の記述子を用いてOxford5Kで0.66 mAPに達するなど、標準ベンチマークで最先端の性能を達成している。同時に、効率的でパラメータが少なく、過学習に対して頑健である。

ABSTRACT

Several recent works have shown that image descriptors produced by deep convolutional neural networks provide state-of-the-art performance for image classification and retrieval problems. It has also been shown that the activations from the convolutional layers can be interpreted as local features describing particular image regions. These local features can be aggregated using aggregation approaches developed for local features (e.g. Fisher vectors), thus providing new powerful global descriptors. In this paper we investigate possible ways to aggregate local deep features to produce compact global descriptors for image retrieval. First, we show that deep features and traditional hand-engineered features have quite different distributions of pairwise similarities, hence existing aggregation methods have to be carefully re-evaluated. Such re-evaluation reveals that in contrast to shallow features, the simple aggregation method based on sum pooling provides arguably the best performance for deep convolutional features. This method is efficient, has few parameters, and bears little risk of overfitting when e.g. learning the PCA matrix. Overall, the new compact global descriptor improves the state-of-the-art on four common benchmarks considerably.

研究の動機と目的

• 画像検索のためのコン act なグローバル記述子に、深層畳み込み特徴を集約する効果的な方法を調査すること。
• 浅層特徴（例：SIFT）に用いられる集約手法が、深層畳み込み特徴に対してもうまく一般化するかを評価すること。
• 過学習とハイパーパramータチューニングのリスクを最小限に抑えるとともに、最も効果的で効率的かつ頑健な深層特徴の集約戦略を同定すること。
• Fisherベクトルや三角埋め込みのような複雑な埋め込みベース手法よりも、単純な和集合プーリングが深層特徴に対して優れていることを示すこと。

提案手法

• 事前学習済みの畳み込みニューラルネットワーク（CNN）から得られる局所的深層畳み込み特徴を、空間的位置にわたる和集合プーリングで集約する。
• 次元削減と正規化を目的として、プールドされた特徴に主成分分析（PCA）とホワイトニングを適用し、識別能を向上させる。
• すべての画像に一様に適用される固定で学習されたPCA＋ホワイトニング変換を用い、個々の画像への適応を避ける。
• Fisherベクトルとは異なり、高次元の埋め込み段階を一切用いず、深層特徴の内在的識別力に依存する。
• 同一画像の複数スケールからの特徴を処理することで、頑健性と精度を向上させる。
• クイリックプロトコル（クロップあり／なし）の両方で性能を評価し、文脈への感受性を検証する。

実験結果

リサーチクエスチョン

• RQ1 浅層特徴（例：SIFT）に用いられる集約手法の相対的性能が、深層畳み込み特徴に対しても一般化されるか？
• RQ2 Fisherベクトルのような高度な埋め込みベース手法よりも、単純な和集合プーリングが深層特徴に適用された場合に優れた性能を発揮できるか？
• RQ3 なぜ深層特徴は浅層特徴とは異なる統計的性質を示し、単純な集約がより効果的になるのか？
• RQ4 前処理の選択（例：PCA、ホワイトニング）が、さまざまな集約方式の性能にどのように影響するか？
• RQ5 マルチスケール特徴の統合と微調整は、SPoCの検索精度をどの程度向上させるか？

主な発見

• SPoCは、未クロップドクエリを用いた場合、256次元の記述子でOxford5Kデータセットで0.66 mAPを達成し、従来のコンパクトなグローバル記述子を大きく上回っている。
• PCA圧縮を適用した場合、Holidaysデータセットで0.802 mAPを達成し、以前の最先端手法を上回っている。
• PCAとホワイトニングを施した和集合プーリングは、Fisherベクトルや三角埋め込みよりも優れた性能を発揮し、パラメータが少なく、過学習のリスクも低い。
• SPoCでは過学習が最小限に抑えられており、混合成分数のチューニングが必須なFisherベクトルやマックスプーリングと比較して顕著である。
• ホワイトニングはSPoCの性能を顕著に向上させ（例：圧縮なしで0.55 mAP → 圧縮ありで0.59 mAP）、マックスプーリングにはそれほど大きな影響を与えない。
• マルチスケール特徴の追加により約2%のmAP向上が得られ、CNNの微調整によりさらに性能が向上する。