[論文レビュー] Geometric VLAD for Large Scale Image Search

Zixuan Wang, Di Wei+3 more|arXiv (Cornell University)|Mar 15, 2014

Advanced Image and Video Retrieval Techniques参考文献 15被引用数 22

ひとこと要約

本稿では、クラスタリングを用いて学習された円形を保つメンバーシップ関数を用いて、VLADフレームワークにキーポoinトの角度情報を統合することで、強化された画像記述子であるGeometric VLAD (gVLAD) を提案する。本手法はベンチマークで15%以上のmAP向上を達成し、Holidays + Flickr 1M などの大規模データセットでは最大22.8%の向上を示し、128D PCA圧縮特徴量を用いても最先端の手法を上回る性能を発揮する。

ABSTRACT

We present a novel compact image descriptor for large scale image search. Our proposed descriptor - Geometric VLAD (gVLAD) is an extension of VLAD (Vector of Locally Aggregated Descriptors) that incorporates weak geometry information into the VLAD framework. The proposed geometry cues are derived as a membership function over keypoint angles which contain evident and informative information but yet often discarded. A principled technique for learning the membership function by clustering angles is also presented. Further, to address the overhead of iterative codebook training over real-time datasets, a novel codebook adaptation strategy is outlined. Finally, we demonstrate the efficacy of proposed gVLAD based retrieval framework where we achieve more than 15% improvement in mAP over existing benchmarks.

研究の動機と目的

• キーポイントの角度という弱い幾何的ヒントをVLAD記述子フレームワークに統合することで、大規模画像検索の性能を向上させること。
• 標準VLADが同一の記述子を持つがキーポイントの向きが異なる画像を区別できないという限界を解消すること。
• 円形分布の性質を保つように学習する角度メンバーシップ関数の体系的な手法を開発すること。
• 反復的再トレーニングを伴わずに、ストリーミングまたは大規模な画像コレクションに対して効率的なコードブックの適応を可能にすること。
• Zスコア正規化を適用することで、従来のVLADベースの手法よりも検索精度を向上させること。

提案手法

• キーポイントの角度を用いて特徴差を方向別サブベクトルに分割する、角度ビン分割に基づくVLADを提案する。
• 三角関数変換とクラスタリングを用いた手法により、キーポイント角度のための円形を保つメンバーシップ関数を学習する。
• ストリーミングや大規模なデータセットにおけるコードブックの完全再トレーニングを回避するコードブック適応戦略を開発する。
• gVLADベクトルにZスコア正規化を適用し、L2正規化や他の正規化方式よりも性能を向上させる。
• 次元削減のためPCAを用い、性能を維持したまま128Dに圧縮することで、効率的な保存と検索を実現する。
• すべての実験において、SURF検出器と特徴量をベースの特徴抽出パイプラインとして採用する。

実験結果

リサーチクエスチョン

• RQ1 回転不変性を確保するためによく捨てられるキーポイントの角度情報は、VLADベースの画像検索を向上させることができるか？
• RQ2 角度情報は、その円形性を尊重する形で効果的にモデル化可能か？
• RQ3 反復的でないコードブック適応戦略は、進化を続ける大規模な画像コレクションにおいても性能を維持できるか？
• RQ4 Zスコア正規化は、標準正規化よりもVLADベースの表現で優れているか？
• RQ5 gVLADは、標準ベンチマークおよび大規模データセットにおいて、最先端の手法と比較してどの程度mAPを向上させるか？

主な発見

• HolidaysベンチマークではgVLADが0.779 mAPを達成し、SIFT特徴量を用いた手法を含むすべての先行手法を上回った。
• 大規模なHolidays + Flickr 1Mデータセットでは、128D特徴量を用いて0.607 mAPを達成し、前回の最先端手法（0.378）と比較して22.8%の向上を示した。
• Oxford 105KではgVLADが0.490 mAPを達成し、前回の最先端手法（0.374）と比較して11.6%の向上を示した。
• 元の記述子から128D PCA圧縮特徴量に変換した際の性能低下は最小限（例：Holidaysでは0.033 mAPの損失）であり、強力なコンパクト性と効率性を示している。
• gVLADの計算時間は1画像あたり約72msであり、100万枚の画像に対するエンドツーエンドのブルートフォース検索も約750msで実行可能であり、実用的導入が可能である。
• 提案されたZスコア正規化は、L2正規化や内部正規化よりも一貫して性能を向上させ、特に大規模データに対して顕著な改善を示した。