[論文レビュー] Cross-dimensional Weighting for Aggregated Deep Convolutional Features

Yannis Kalantidis, Clayton Mellina+1 more|arXiv (Cornell University)|Dec 13, 2015

Advanced Image and Video Retrieval Techniques被引用数 13

ひとこと要約

本論文では、畳み込みニューラルネットワークの特徴量に、和集合プーリングの前に行う非パrametricな空間的およびチャネルワイドの重み付けを適用することで、表現力を向上させるCroW（クロスディメンジョンワイティング）特徴量を提案する。この手法は、微調整を一切行わず、最小限の計算コストとオープンソース実装を用いて、画像検索ベンチマークで最先端の性能を達成しており、オックスフォードおよびパリのデータセットにおいて平均平均精度（mAP）を10%以上向上させた。

ABSTRACT

We propose a simple and straightforward way of creating powerful image representations via cross-dimensional weighting and aggregation of deep convolutional neural network layer outputs. We first present a generalized framework that encompasses a broad family of approaches and includes cross-dimensional pooling and weighting steps. We then propose specific non-parametric schemes for both spatial- and channel-wise weighting that boost the effect of highly active spatial responses and at the same time regulate burstiness effects. We experiment on different public datasets for image search and show that our approach outperforms the current state-of-the-art for approaches based on pre-trained networks. We also provide an easy-to-use, open source implementation that reproduces our results.

研究の動機と目的

• 事前学習済みの深層CNNから強力な画像表現を生成する、簡単で効果的な手法の開発。
• バーストネスや空間的応答の強調不足といった、従来のアグリゲーション手法の限界を、クロスディメンジョンワイティングによって解消すること。
• 微調整なしで、最先端のコンactな画像表現を凌駕する画像検索性能の実現。
• 将来的な学習ベースの重み探索を支援する、畳み込み特徴量の重み付きプールリングの汎用フレームワークの提供。

提案手法

• 入力画像をリサイズまたはクロップせず、事前学習済みCNNの最終畳み込み層からの特徴量をアグリゲートする。
• ソフトランクに基づくスキームを用いて、活性度の高い空間的応答を強調する非パrametricな空間的重み付けを適用する。
• 過剰に活性化したチャネルを抑制することでバーストネス効果を緩和する非パrametricなチャネルワイド重み付けを適用する。
• 空間的およびチャネルワイドの重みを、和集合プーリングの前において独立して適用し、最終的なd次元特徴ベクトルを生成する。
• クエリ拡張を可能とするフレームワークとして、CroW特徴量と上位ランクの結果を組み合わせることで、さらなる性能向上を実現する。
• GitHub上で結果の再現が可能なオープンソース実装を提供する。

実験結果

リサーチクエスチョン

• RQ1 微調整なしで、集約された深層畳み込み特徴量の表現力はどのように向上できるか？
• RQ2 空間的およびチャネルワイドの重み付けが、画像検索における特徴量の頑健性と性能に与える影響は何か？
• RQ3 非パrametricな重み付けスキームは、CNN特徴量におけるバーストネスを効果的に低減し、顕著な空間的応答を強化できるか？
• RQ4 提案されたCroWフレームワークは、標準ベンチマークにおいて、既存の最先端のアグリゲーション手法と比較してどのように差をつけるか？

主な発見

• CroW特徴量は、256次元でオックスフォードデータセットで0.851のmAP、パリデータセットで0.637のmAPを達成し、先行研究のSOTAを10%以上上回った。
• クエリ拡張を適用した場合、512次元でパリデータセットで0.848 mAPを達成し、より複雑な局所特徴ベースの手法を上回った。
• わずか32次元でもCroW特徴量は強力な性能を維持しており、圧縮に強く、視点や照明変化に対して不変性を示した。
• パリデータセットにおいて、256次元と512次元で、CroWの重み付けスキームを適用することで、SPoC特徴量はそれぞれ3.9%および4.6%向上した。
• フレームワークは、データセット全体で一貫した性能向上をもたらし、特に低次元特徴量での向上が顕著に観察された。