[論文レビュー] Selective Convolutional Descriptor Aggregation for Fine-Grained Image Retrieval

Xiu-Shen Wei, Jian-Hao Luo+2 more|arXiv (Cornell University)|Apr 18, 2016

Advanced Image and Video Retrieval Techniques参考文献 39被引用数 34

ひとこと要約

本論文は、事前学習済み畳み込みニューラルネットワーク（CNN）特徴量を用いて画像内の主要な物体を局所化し、識別的な畳み込み記述子をコンactな特徴ベクトルに集約する、教師なしの細分化画像検索手法である選択的畳み込み記述子集約（SCDA）を提案する。SCDAは6つの細分化データセットで最先端の性能を達成し、一般の検索ベンチマークでも同等の結果を示しており、可視化により微細な視覚的特徴を捉えていることが確認されている。

ABSTRACT

Deep convolutional neural network models pre-trained for the ImageNet classification task have been successfully adopted to tasks in other domains, such as texture description and object proposal generation, but these tasks require annotations for images in the new domain. In this paper, we focus on a novel and challenging task in the pure unsupervised setting: fine-grained image retrieval. Even with image labels, fine-grained images are difficult to classify, let alone the unsupervised retrieval task. We propose the Selective Convolutional Descriptor Aggregation (SCDA) method. SCDA firstly localizes the main object in fine-grained images, a step that discards the noisy background and keeps useful deep descriptors. The selected descriptors are then aggregated and dimensionality reduced into a short feature vector using the best practices we found. SCDA is unsupervised, using no image label or bounding box annotation. Experiments on six fine-grained datasets confirm the effectiveness of SCDA for fine-grained image retrieval. Besides, visualization of the SCDA features shows that they correspond to visual attributes (even subtle ones), which might explain SCDA's high mean average precision in fine-grained retrieval. Moreover, on general image retrieval datasets, SCDA achieves comparable retrieval results with state-of-the-art general image retrieval approaches.

研究の動機と目的

• 画像レベルやバウンディングボックスのアノテーションが一切ない教師なし設定において、細分化画像検索の課題に取り組むこと。
• 視覚的に類似したカテゴリ（例：鳥の種別、自動車のモデル）の検索精度を向上させるために、識別的な物体領域に注目すること。
• 微調整や追加の教師信号を一切使用せずに、事前学習済みImageNetモデルを活用する手法を開発すること。
• 選択的記述子集約が、グローバルプーリングやエンコーディング手法よりもより意味的に意味のある特徴を生成することを示すこと。

提案手法

• 入力画像から事前学習済みImageNet CNNを用いて深層畳み込み活性化マップを抽出する。
• 未教師ありの物体局所化戦略を適用し、主要な物体に対応する関連する畳み込み記述子を特定・選択する。
• 最大プーリングと平均プーリングの組み合わせを用いて、選択された記述子を集約し、表現を向上させる。
• 特徴ベクトルの次元圧縮と識別力の維持の両立のため、SVDベースのホワイトニングと次元削減を適用する。
• 最終的なSCDA特徴ベクトルを用いて、最近傍探索による検索を実行する。
• 特にリソースが限られた環境でも頑健性と性能を向上させるために、データ拡張（例：フリップ）を用いる。

実験結果

リサーチクエスチョン

• RQ1 微調整やアノテーションなしに、事前学習済みCNNモデルを細分化画像検索に効果的に使用できるか？
• RQ2 グローバルプーリングやエンコーディング手法と比較して、畳み込み記述子の選択的集約が検索性能を向上させるか？
• RQ3 未教師ありの物体局所化が、細分化検索タスクにおける特徴品質を向上させられるか？
• RQ4 SCDAは、細分化および一般用途の画像検索ベンチマークの両方でどの程度の性能を示すか？
• RQ5 SCDA特徴量が、細分化カテゴリを区別する微細な視覚的特徴をどの程度捉えられるか？

主な発見

• SCDAは、CUB200-2011、Stanford Dogs、Carsを含む6つの細分化データセットで、平均平均精度（mAP）の最先端性能を達成した。
• CUB200-2011データセットでは、R-MAC や SPoC を含むすべてのベースラインを上回り、mAP 88.7% を達成した。
• INRIA Holiday および Oxford Buildings 5K データセットでは、最先端の一般画像検索アプローチと同等の性能を示した。
• SVDホワイトニングにより特徴次元が圧縮され、特に Aircrafts および Cars では mAP が最大 5.2% 向上した。
• 可視化により、SCDA特徴量が、羽の模様や車体の形状といった微細な視覚的特徴に対応していることが確認された。
• SCDAは計算効率が高く、Birds では約 9.1 fps、Cars では約 4.2 fps の推論速度を達成し、R-MAC を上回り、SPoC や CroW と同等の性能を示した。