[論文レビュー] NetVLAD: CNN architecture for weakly supervised place recognition

Relja Arandjelović, Petr Gronát+3 more|arXiv (Cornell University)|Nov 23, 2015

Advanced Image and Video Retrieval Techniques参考文献 126被引用数 1,598

ひとこと要約

本論文は、弱教師付き視覚的場所認識のための学習可能CNNアーキテクチャNetVLADを提案する。一般化VLADプーリング層を備えたこのアーキテクチャは、Google Street View Time Machineデータ上でエンドツーエンドに訓練され、新しいランク付け損失を用いる。NetVLADは、場所認識および画像検索ベンチマークで最先端の性能を達成しており、オフザシェルCNNや先行するコンパクトな記述子と比べて顕著に優れている。特に次元数を低減した場合（例：128D NetVLADは512D Maxプーリングと同等の性能を達成）に顕著である。

ABSTRACT

We tackle the problem of large scale visual place recognition, where the task is to quickly and accurately recognize the location of a given query photograph. We present the following three principal contributions. First, we develop a convolutional neural network (CNN) architecture that is trainable in an end-to-end manner directly for the place recognition task. The main component of this architecture, NetVLAD, is a new generalized VLAD layer, inspired by the "Vector of Locally Aggregated Descriptors" image representation commonly used in image retrieval. The layer is readily pluggable into any CNN architecture and amenable to training via backpropagation. Second, we develop a training procedure, based on a new weakly supervised ranking loss, to learn parameters of the architecture in an end-to-end manner from images depicting the same places over time downloaded from Google Street View Time Machine. Finally, we show that the proposed architecture significantly outperforms non-learnt image representations and off-the-shelf CNN descriptors on two challenging place recognition benchmarks, and improves over current state-of-the-art compact image representations on standard image retrieval benchmarks.

研究の動機と目的

• オフザシェル特徴量に依存せずに、視覚的場所認識に特化して訓練されたCNNアーキテクチャの開発。
• タイムラプスのストリートビュー画像からの弱教師付き学習により、ネットワークのエンドツーエンド訓練を可能にすること。
• 視点、照明、季節の変化に対して良好に一般化するコンパクトで効率的な記述子の作成。
• 大規模な場所認識および標準的な画像検索ベンチマークにおける性能の向上。

提案手法

• 中間レベルの畳み込み特徴（例：conv5）をコンパクトな記述子に集約する、微分可能で学習可能な一般化VLAD層を備えたNetVLADを導入。
• Google Street View Time Machineを用いて、同じ場所で異なる時間に撮影されたパノラマ画像のペアを用いて、弱教師付きランク付け損失を訓練。
• NetVLAD出力を効率的なインデクシングと検索のために圧縮するために、主成分分析（PCA）とホワイトニングを適用。
• ネットワークのエンドツーエンド訓練を可能にし、NetVLAD層を含む全アーキテクチャを逆伝播可能にする。
• 正例ペア（同じ場所）の埋め込みが類似し、負例ペアが相違するように促進するコントラスト損失の定式化を採用。
• 一般化を向上させ、特定のシーンへの過学習を回避するために、データ拡張およびサンプリング戦略を活用。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドに場所認識用に訓練されたCNNアーキテクチャは、オフザシェルCNN特徴量を上回ることができるか？
• RQ2 タイムラプスのストリートビュー画像からの弱教師付き学習は、場所認識モデルの有効な訓練を可能にするか？
• RQ3 NetVLADのような学習可能なプーリング層は、標準的なプーリング（例：マックス、平均）と比較して、視覚的場所認識の性能を向上させることができるか？
• RQ4 NetVLADの性能は、記述子の次元数に応じてどのようにスケーリングされるか？既存手法と比較してどうか？
• RQ5 提案手法は、場所認識を越えて標準的な画像検索ベンチマークにも一般化可能か？

主な発見

• fV LADを用いて、Pitts30kバリデーションセットで80.5%のrecall@1を達成。オフザシェルAlexNet（33.5%）を著しく上回り、高次元でのMaxプーリングをも凌駕。
• 128-D NetVLADは24/7東京ベンチマークで42.9%のrecall@1を達成。512-D Maxプーリングと同等の性能でありながら、4倍コンパクトである。
• NetVLAD＋ホワイトニングを128Dに圧縮した場合、24/7東京データセットで60%のrecall@1を達成。同じ次元でのMaxプーリングを上回る性能。
• 標準的な画像検索ベンチマークでは、256-D NetVLAD表現がOxford5kでmAP 63.5%、Paris6kで73.5%、Holidaysで79.9%を達成。コンパクト記述子としての新記録を樹立。
• Time Machineデータなしでの訓練では、Pitts30kでrecall@1が38.7%に低下。弱教師付き時間的データの重要性を示している。
• 定性的な分析から、NetVLADが建物の外観やスカイラインといった判別性の高いシーン要因に注目し、人々や車といった非判別的要素を抑制していることが明らかになった。