[論文レビュー] Multiple Measurements and Joint Dimensionality Reduction for Large Scale Image Search with Short Vectors - Extended Version

Filip Radenović, Hervé Jeǵou+1 more|arXiv (Cornell University)|Apr 13, 2015

Advanced Image and Video Retrieval Techniques参考文献 23被引用数 4

ひとこと要約

本論文では、128D画像ベクトルを用いて大規模画像検索を向上させる手法を提案する。複数の補完的ボキャブラリーにわたる次元圧縮を統合的に行うことで、オックスフォード5k、オックスフォード105k、Holidaysベンチマークにおいて、先行する最先端手法を顕著に上回る性能を達成する。

ABSTRACT

This paper addresses the construction of a short-vector (128D) image representation for large-scale image and particular object retrieval. In particular, the method of joint dimensionality reduction of multiple vocabularies is considered. We study a variety of vocabulary generation techniques: different k-means initializations, different descriptor transformations, different measurement regions for descriptor extraction. Our extensive evaluation shows that different combinations of vocabularies, each partitioning the descriptor space in a different yet complementary manner, results in a significant performance improvement, which exceeds the state-of-the-art.

研究の動機と目的

• コンactな128D画像表現を用いて大規模画像検索の性能を向上させること。
• Bag-of-WordsおよびVLADベースの検索における単一ボキャブラリーおよび重複を含む複数ボキャブラリー手法の限界を解消すること。
• 多様な記述子変換および測定設定が、相互に補完的なボキャブラリーを生成する方法を調査すること。
• 複数の多様なボキャブラリーの連合次元圧縮が、クエリ時の計算コストを増加させることなく、優れた検索精度をもたらすことを実証すること。
• 記述子およびボキャブラリー構築の単純かつ効率的な変更により、短いベクトル画像検索で既存の最先端手法を上回ること。

提案手法

• 局所的記述子抽出に用いる測定領域のサイズを変化させることで、複数の視覚的ボキャブラリーを構築する。
• k-meansクラスタリングの前段階で、異なるパワー則正規化（例：SIFT^0.4、SIFT^0.5、SIFT^0.6）を局所的記述子に適用する。
• k-meansの前段階で、局所的記述子に異なる線形射影（PCA）を適用し、重複を低減して多様性を向上させる。
• 複数のボキャブラリーからのBOWベクトルを画像ごとに連結し、1つの高次元ベクトルを生成する。
• 連結されたベクトルに対して連合次元圧縮（例：PCA）を実行し、128Dのコンパクトな記述子を生成する。
• 評価にはL2正規化と標準的な検索プロトコル（mAP）を用い、複数のベンチマークで評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 測定領域のサイズ、正規化、射影のパラメータを変化させることで、視覚的ボキャブラリーの多様性と補完性にどのような影響を与えるか？
• RQ2 多様なボキャブラリーを統合的に次元圧縮することで、単一ボキャブラリーまたは単純初期化された複数ボキャブラリー手法よりも検索性能が向上するか？
• RQ3 提案手法は、標準ベンチマークにおける短いベクトル画像検索で、どの程度既存の最先端手法を上回るか？
• RQ4 異なる記述子変換を用いて構築された複数のボキャブラリーの組み合わせは、量子化アーチファクトを低減し、一般化性能を向上させるか？
• RQ5 クエリ時の計算コストを増加させることなく、検索精度を最大化するための最適な複数ボキャブラリー構成は何か？

主な発見

• 提案手法はオックスフォード105kで48.8%のmAPを達成し、ベースラインのmVocab手法よりも相対的に17.9%向上、VLADベースの最先端手法よりも10.7%向上した。
• オックスフォード5kでは、最良の手法が48.8%のmAPを達成し、ベースラインより相対的に13.8%向上、T-embeddingの最先端手法より12.7%向上した。
• Holidaysデータセットでは、67.3%のmAPを達成し、ベースラインより相対的に4.3%向上、T-embeddingの最先端手法より9.1%向上した。
• 複数の測定領域とパワー則正規化の使用により、ユニークなボキャブラリー割り当ての数が増加し、冗長性が低減され、カバレッジが向上した。
• 同じ学習データ（Paris6k）を用いた公平な比較でも、提案手法は最先端性能を上回ったことから、提案された記述子変換の有効性が裏付けられた。
• 5×2kボキャブラリーおよび4×(4k+…+128)の構成を含む、提案されたすべての手法が、すべてのデータセットでベースラインおよび最先端手法を一貫して上回った。