[論文レビュー] Selective Deep Convolutional Features for Image Retrieval

Tuan Hoang, Thanh-Toan Do+2 more|arXiv (Cornell University)|Jul 4, 2017

Advanced Image and Video Retrieval Techniques参考文献 40被引用数 7

ひとこと要約

本論文は、冗長な特徴を低減し、識別性を向上させるために選択的マスキング（SIFT-mask、SUM-mask、MAX-mask）を適用することで、深層畳み込み特徴を強化する、画像検索のための新規フレームワークを提案する。その後に最先端の埋め込みとアグリゲーションを適用する。この手法は、複数のベンチマークで1024次元において、先行手法を2.5%以上上回るSOTAの検索精度を達成するとともに、計算コストを最大70%まで削減する。

ABSTRACT

Convolutional Neural Network (CNN) is a very powerful approach to extract discriminative local descriptors for effective image search. Recent work adopts fine-tuned strategies to further improve the discriminative power of the descriptors. Taking a different approach, in this paper, we propose a novel framework to achieve competitive retrieval performance. Firstly, we propose various masking schemes, namely SIFT-mask, SUM-mask, and MAX-mask, to select a representative subset of local convolutional features and remove a large number of redundant features. We demonstrate that this can effectively address the burstiness issue and improve retrieval accuracy. Secondly, we propose to employ recent embedding and aggregating methods to further enhance feature discriminability. Extensive experiments demonstrate that our proposed framework achieves state-of-the-art retrieval accuracy.

研究の動機と目的

• 深層畳み込み特徴におけるバーストネス問題に寄与する要因を軽減し、画像検索性能の低下を是正すること。
• ネットワークの深さやファインチューニングに依存せずに、局所的畳み込み特徴の識別力を向上させること。
• 効果的なマスキング方式により冗長な特徴を排除することで、計算コストを低減すること。
• 埋め込みとアグリゲーションが、すでに強力な深層特徴に対してさえ、特徴の識別性を顕著に向上させることを示すこと。
• ファインチューニング済みネットワークと互換性があり、軽量で効率的なフレームワークを用いてSOTAの検索精度を達成すること。

提案手法

• SIFT検出器の応答を用いるSIFT-mask、特徴チャネルに沿って和集合プーリングを行うSUM-mask、チャネルに沿って最大プーリングを行うMAX-maskの3種類のマスキング方式を導入し、代表的な局所的特徴を選択する。
• 選択された特徴に、最先端の埋め込みとアグリゲーション技術（例：Jégou & Zisserman, 2014；Do et al., 2015）を適用し、さらに識別性を向上させる。
• 畳み込み層の3次元活性化テンソルを入力として使用することで、事前学習済みおよびファインチューニング済みCNN（例：VGG）と両立可能である。
• 2段階のフレームワークを採用する：(1) マスキングによる特徴選択、(2) 埋め込みとアグリゲーションにより最終的な画像表現を生成。
• 精度と効率の両面で最適化を図り、処理時間は標準CPUを用いてOxford5kで測定する。
• 複数のベンチマーク（Oxford5k、Paris106k、Holidays）でmAPを主評価指標として用いる。

実験結果

リサーチクエスチョン

• RQ1 選択的マスキングにより、深層畳み込み特徴の冗長性を低減し、検索精度を向上させることができるか？
• RQ2 選択された特徴に埋め込みとアグリゲーションを適用することで、深層特徴そのものよりもさらなる識別性の向上が達成できるか？
• RQ3 本手法のフレームワークは、SOTA手法と比較して精度と計算効率の両面で優れているか？
• RQ4 ファインチューニング済みネットワークと同等の性能を達成しながらも、効率的かつ汎用的であるか？
• RQ5 局所的特徴におけるバーストネスが検索性能にどれほど悪影響を及ぼすか、そして効果的に是正可能か？

主な発見

• 提案フレームワークは、Oxford5k、Oxford105k、Holidays、Paris106kを含む多数のベンチマークで、1024次元において、既存手法を2.5%以上上回るSOTAのmAP性能を達成する。
• MAX-maskとSUM-maskの手法により、特徴数がそれぞれ約70%、50%に削減され、計算コストが顕著に低減される。
• 512次元においても、既存の最良手法と同等の性能を発揮し、多数のデータセットでそれを上回る。
• 512-Dにおいて、R-MACよりも計算が高速であり、特徴のプルーニングによりオンライン処理時間が短縮される。
• ファインチューニング済みVGGネットワークの特徴を用いても、高い性能を達成し、多数のベンチマークで先行研究を上回る。
• マスキングと埋め込み／アグリゲーションの組み合わせにより顕著な性能向上が得られ、極めて識別性の高い特徴に対してもさらなる精錬が有効であることが示された。