[論文レビュー] What Is the Best Practice for CNNs Applied to Visual Instance Retrieval?

Jiedong Hao, Jing Dong+2 more|arXiv (Cornell University)|Nov 5, 2016

Advanced Image and Video Retrieval Techniques参考文献 29被引用数 9

ひとこと要約

本論文は、複数の層（conv5_4 および fc6-conv）からの特徴を単純な加算と L2 正規化を用いて統合し、その後に PCA とホワイトニングを適用する、マルチスケール CNN に基づく特徴表現を提案する。この手法は、4つのベンチマークデータセットで最先端の性能を達成し、Oxford105k および UKB では、前例の最高性能比に対して最大 10.3% の相対的改善を示した。特に、コンパクトで教師なしの設定において顕著な性能を発揮する。

ABSTRACT

Previous work has shown that feature maps of deep convolutional neural networks (CNNs) can be interpreted as feature representation of a particular image region. Features aggregated from these feature maps have been exploited for image retrieval tasks and achieved state-of-the-art performances in recent years. The key to the success of such methods is the feature representation. However, the different factors that impact the effectiveness of features are still not explored thoroughly. There are much less discussion about the best combination of them. The main contribution of our paper is the thorough evaluations of the various factors that affect the discriminative ability of the features extracted from CNNs. Based on the evaluation results, we also identify the best choices for different factors and propose a new multi-scale image feature representation method to encode the image effectively. Finally, we show that the proposed method generalises well and outperforms the state-of-the-art methods on four typical datasets used for visual instance retrieval.

研究の動機と目的

• 低データ環境における視覚的インスタンス検索のための CNN 要因の最適な組み合わせを特定すること。
• レイヤー選択、特徴統合、マルチスケール表現、正規化、次元削減の各要因が検索性能に与える影響を評価すること。
• 微調整や後処理を一切行わずに効果的かつ汎用性の高い特徴表現を構築すること。
• オフザシェル CNN を教師なしインスタンス検索に展開するにあたり、明確で実証的根拠に基づいた推奨事項を提示すること。

提案手法

• 事前学習済み CNN の conv5_4 層および fc6-conv 層の特徴マップを局所的記述子として使用する。
• 各スケールで最大プーリングと L2 正規化を適用し、4スケールのマルチスケール表現を構築。その後、スケール間で特徴を加算する。
• マルチスケール特徴の合算後に L2 正規化を施し、その後に PCA とホワイトニングを適用して次元削減および相関の除去を行う。
• conv5_4 特徴と fc6-conv 特徴の類似度スコアを重み付き平均で統合するレイヤー集合戦略を採用する。
• 一般化性とコンパクト性を確保するため、PCA およびホワイトニング行列を外部データセット（例：Oxford5k に対して Paris6k を使用）から学習する。
• 単層表現には 512次元、集合表現には 1024次元の特徴を使用し、クエリ拡張や幾何的再ランク付けといった複雑な後処理は一切行わない。

実験結果

リサーチクエスチョン

• RQ1 インスタンスレベルの検索において、最も判別力のある特徴を提供するのはどの CNN レイヤーか（例：conv5_4 または fc6-conv）？
• RQ2 特徴マップの異なるレベルからのマルチスケール特徴を統合する最適な方法は何か？
• RQ3 教師なし CNN 基盤の検索において、空間ピラミッドプーリングと単純な特徴加算のどちらがより優れた性能を発揮するか？
• RQ4 L2 正規化、PCA、ホワイトニングを CNN 特徴に適用した場合、最終的な検索性能にどのように影響を与えるか？
• RQ5 微調整なしで、複数の CNN 特徴の単純なレイヤー集合が、単一レイヤー表現を上回る性能を発揮できるか？

主な発見

• 単純なスケール間加算を用いた提案マルチスケール特徴表現は、空間ピラミッドプーリングや重み付き統合を上回り、Oxford5k（フルおよびクロップド）でそれぞれ 82.0% および 83.3% の mAP を達成した。
• conv5_4 と fc6-conv レイヤーの特徴をレイヤー集合で統合することで、Oxford5k（フルおよびクロップド）で 75.6% および 73.7% の mAP を達成し、前例の最先端性能比に対して 10.3% の相対的改善を達成した。
• Paris6k データセットでは、フルおよびクロップド設定でそれぞれ 85.7% および 85.9% の mAP を達成し、両設定で過去最高を 3% 以上上回った。
• UKB データセットでは 69.2% の mAP を達成し、前例の最先端性能比に対して 4.4% の相対的改善を示し、優れた一般化性能を示した。
• PCA とホワイトニングは性能向上に顕著な効果を示し、PCA 行列を別のデータセットから学習しても性能が維持されるため、ロバストネスと転移性が確認された。