[論文レビュー] Packing and Padding: Coupled Multi-index for Accurate Image Retrieval

Liang Zheng, Shengjin Wang+2 more|arXiv (Cornell University)|Feb 11, 2014

Advanced Image and Video Retrieval Techniques参考文献 29被引用数 32

ひとこと要約

本稿では、SIFT特徴量と局所的色特徴量をインデキシング段階で統合することで、画像検索精度を向上させるカップルドマルチインデックス（c-MI）フレームワークを提案する。異種特徴量を多次元インverted indexに統合し、Multiple Assignmentを用いて再現率を向上させることで、誤検出を低減し、ベースライン手法と比較してクエリ時間を50%短縮しながら、Holidaysでは85.8%のmAP、Ukbenchでは3.85のN-Sスコアを達成し、最先端の性能を実現した。

ABSTRACT

In Bag-of-Words (BoW) based image retrieval, the SIFT visual word has a low discriminative power, so false positive matches occur prevalently. Apart from the information loss during quantization, another cause is that the SIFT feature only describes the local gradient distribution. To address this problem, this paper proposes a coupled Multi-Index (c-MI) framework to perform feature fusion at indexing level. Basically, complementary features are coupled into a multi-dimensional inverted index. Each dimension of c-MI corresponds to one kind of feature, and the retrieval process votes for images similar in both SIFT and other feature spaces. Specifically, we exploit the fusion of local color feature into c-MI. While the precision of visual match is greatly enhanced, we adopt Multiple Assignment to improve recall. The joint cooperation of SIFT and color features significantly reduces the impact of false positive matches. Extensive experiments on several benchmark datasets demonstrate that c-MI improves the retrieval accuracy significantly, while consuming only half of the query time compared to the baseline. Importantly, we show that c-MI is well complementary to many prior techniques. Assembling these methods, we have obtained an mAP of 85.8% and N-S score of 3.85 on Holidays and Ukbench datasets, respectively, which compare favorably with the state-of-the-arts.

研究の動機と目的

• Bag-of-Wordsベースの画像検索におけるSIFTビジュアルワードの低識別力が引き起こす高い誤検出率を是正すること。
• 量子化による情報損失と不十分な特徴表現を、補完的な局所的色特徴量の統合によって克服すること。
• 特に大規模な環境下でも効率を損なわず、検索精度と再現率を向上させること。
• 後処理ではなくインデキシング段階での特徴統合を可能にするスケーラブルなインデキシング戦略の開発。
• 標準ベンチマークデータセットで最先端の性能を達成するとともに、低クエリ時間と低メモリコストを維持すること。

提案手法

• SIFTと局所的色特徴量のそれぞれの特徴タイプに対応する次元を持つカップルドマルチインデックス（c-MI）を構築し、異種記述子を統合的にインデックス化する。
• 色特徴量の次元に対して大きな値でのMultiple Assignment（MA）を用い、再現率とilluminations変動に対するロバスト性を向上させる。
• キーポoinトごとにSIFTと色特徴量を「パッケージング」することで、多次元インデックスに統合し、インデキシング段階での識別力向上を図る。
• ハミング埋め込み、rootSIFT、バーストネス重み付けなどの補完的技術を統合するための「パディング」ステップを導入し、さらなる性能向上を実現。
• inverted index構造を活用してクエリ処理を高速化し、ベースラインBoW手法と比較して約50%のクエリ時間短縮を達成。
• 画像IDとバイナリーシグネチャを効率的に格納することでメモリ使用量を最適化し、100万枚の画像データセットで合計6.1 GBのメモリコストを実現。

実験結果

リサーチクエスチョン

• RQ1 SIFTと局所的色特徴量をインデキシング段階で統合することで、BoWベースの画像検索における誤検出マッチを顕著に低減できるか？
• RQ2 色特徴量の次元に対してMultiple Assignmentを用いることで、再現率とilluminations変動へのロバスト性にどのような影響を与えるか？
• RQ3 カップルドマルチインデックスフレームワークは、大規模な環境下でも低クエリ時間と低メモリコストを維持しながら、検索精度をどの程度向上できるか？
• RQ4 c-MIはハミング埋め込みやグラフ統合といった既存の最先端技術とどの程度統合可能か？
• RQ5 c-MIフレームワークはHolidaysやUkbenchといった標準ベンチマークで、新たな最先端性能を達成するか？

主な発見

• c-MIフレームワークはHolidaysデータセットで85.8%のmAPという、新たな最先端性能を達成し、先行手法を顕著に上回った。
• UkbenchデータセットではN-Sスコア3.85を達成し、前回の最高記録を0.08ポイント上回った。
• クエリ時間はベースラインBoW手法の約半分に短縮され、特徴統合にもかかわらず高い効率性を示した。
• ハミング埋め込み、rootSIFT、グラフ統合といった既存技術と高い相性を示し、それらと組み合わせることでさらなる性能向上が可能だった。
• 100万枚の画像データセットで6.1 GBのメモリコストを維持しており、色シグネチャあたりのオーバーヘッドはわずか2.75バイトにとどまった。
• c-MIフレームワークは特に大規模な環境下で顕著な効果を発揮し、低遅延とスケーラブルなメモリ使用量を実現しながら、より高い精度を提供した。