[論文レビュー] Deep Convolutional Features for Image Based Retrieval and Scene Categorization

Arsalan Mousavian, Jana Košecká|arXiv (Cornell University)|Sep 20, 2015

Advanced Image and Video Retrieval Techniques参考文献 22被引用数 31

ひとこと要約

この論文では、標準的な最終全結合層（fc7）の代わりに、事前学習済み畳み込みニューラルネットワーク（CNN）の初期畳み込み層（pool5）からの特徴マップを活用することで、検索およびシーン分類のためのより効率的で効果的な画像表現を提案する。これらの意味的に豊かで空間的に局所化された特徴に対して、特にハイブリッドプーリングを含む新しいプーリング戦略を適用することで、INRIA HolidaysおよびSUN397で最先端または競争力のある性能を達成した。計算コストとメモリ使用量は顕著に低減された一方で、クロスジオグラフィックな画像検索を想定した、新たな挑戦的なGeoPlaces5Kデータセットも導入した。

ABSTRACT

Several recent approaches showed how the representations learned by Convolutional Neural Networks can be repurposed for novel tasks. Most commonly it has been shown that the activation features of the last fully connected layers (fc7 or fc6) of the network, followed by a linear classifier outperform the state-of-the-art on several recognition challenge datasets. Instead of recognition, this paper focuses on the image retrieval problem and proposes a examines alternative pooling strategies derived for CNN features. The presented scheme uses the features maps from an earlier layer 5 of the CNN architecture, which has been shown to preserve coarse spatial information and is semantically meaningful. We examine several pooling strategies and demonstrate superior performance on the image retrieval task (INRIA Holidays) at the fraction of the computational cost, while using a relatively small memory requirements. In addition to retrieval, we see similar efficiency gains on the SUN397 scene categorization dataset, demonstrating wide applicability of this simple strategy. We also introduce and evaluate a novel GeoPlaces5K dataset from different geographical locations in the world for image retrieval that stresses more dramatic changes in appearance and viewpoint.

研究の動機と目的

• より効率的で判別力の高いCNN特徴を用いて、画像検索およびシーン分類の性能を向上させること。
• fc7特徴に依存するのではなく、より前の畳み込み層（例：pool5）における代替のプーリング戦略を検討すること。
• 視点や外観の変化が著しい大規模なデータセット、特に新規のGeoPlaces5Kデータセットを用いて、提案手法の評価を行うこと。
• 検索タスクにおいて、fc7特徴よりも意味的に豊かで空間的に局所化された特徴をpool5特徴が有する可能性を示すこと。
• オブジェクト中心の学習（ImageNet）ではなく、シーンに焦点を当てたデータセット（Places）で事前学習することで、シーン関連タスクにおいて優れた性能が得られることを示すこと。

提案手法

• 本手法は、事前学習済みCNN（ImageNetおよびPlacesで学習済み）のpool5層からの特徴マップを、主な画像表現として用いる。
• pool5特徴マップに、平均プーリング、最大プーリング、および新規のハイブリッドプーリングを含む複数のプーリング戦略を適用し、空間的情報を統合する。
• ハイブリッドプーリング戦略は、空間的位置で最大プーリングと平均プーリングを組み合わせることで、判別力のある特徴とロバストな特徴の両方を保持する。
• 得られた低次元特徴ベクトル（例：256次元または512次元）を、最近傍探索による検索および線形SVMによる分類に用いる。
• 本手法は、各画像をネットワークを1回だけ通過させるため、マルチスケールやマルチクロップ推論を回避し、計算コストを低減する。
• 次元削減としてPCAを適用することで、特に検索タスクにおいて性能を維持したまま特徴をさらに圧縮する。

実験結果

リサーチクエスチョン

• RQ1 より前の畳み込み層（pool5）からの特徴が、画像検索タスクにおいて標準的なfc7特徴を上回る可能性があるか？
• RQ2 平均プーリング、最大プーリング、ハイブリッドプーリングといった異なるプーリング戦略が、多様なデータセットにおける検索性能にどのように影響を与えるか？
• RQ3 fc7と比較して、pool5特徴を用いることで、視点や外観の変化が著しい状況下でもより良い一般化性能が得られるか？
• RQ4 オブジェクト中心のデータセット（ImageNet）での事前学習と、シーンに焦点を当てたデータセット（Places）での事前学習を比較すると、シーン分類および検索タスクでどのように差が現れるか？
• RQ5 pool5特徴を用いた単純な1回の順伝播処理による手法が、最先端の手法と同等の性能を達成しつつ、顕著に少ないメモリと計算コストで実現可能か？

主な発見

• pool5特徴にハイブリッドプーリングを適用した結果、SUN397データセットで51.54%のmAPを達成し、平均プーリングおよび最大プーリングの両方を上回った。
• pool5特徴にハイブリッドプーリングとPCAを適用することで、特徴次元を512に圧縮しながらも高い性能を維持でき、低メモリフットプリントで効率的な検索が可能になった。
• すべての検索および分類タスクにおいて、Placesで事前学習したCNNがImageNetで事前学習したCNNを上回り、特にシーンに焦点を当てたデータセットでは顕著な優位性を示した。
• INRIA Holidaysデータセットでも、fc7ベースラインの1/10のメモリ使用量で競争力ある性能を達成し、高い効率性を示した。
• 極端な視点や外観の変化を含む新しいGeoPlaces5Kデータセットでは、本手法が強いロバスト性を示し、実世界の地理的多様性への一般化能力を裏付けた。
• 大規模な分類タスクでは、より高次元の特徴（例：512次元）が性能向上に寄与することを明らかにした。これは、細分化された分類タスクにおいて、低次元表現の限界を示唆している。