[論文レビュー] Seeing the Big Picture: Deep Embedding with Contextual Evidences

Liang Zheng, Shengjin Wang+2 more|arXiv (Cornell University)|Jun 1, 2014

Advanced Image and Video Retrieval Techniques参考文献 8被引用数 16

ひとこと要約

本論文では、畳み込みニューラルネットワーク（CNN）特徴量を用いて、局所的、領域的、グローバルな文脈的手がかりを統合することで、Bag-of-Words（BoW）画像検索の性能を向上させる確率的フレームワーク「Deep Embedding」を提案する。マッチング信頼度を3レベルの類似度スコアの積としてモデル化することで、誤検出を顕著に低減し、メモリ使用量とクエリ時間の増加が最小限に抑えられ、ベンチマークデータセットで最先端の性能を達成する。

ABSTRACT

In the Bag-of-Words (BoW) model based image retrieval task, the precision of visual matching plays a critical role in improving retrieval performance. Conventionally, local cues of a keypoint are employed. However, such strategy does not consider the contextual evidences of a keypoint, a problem which would lead to the prevalence of false matches. To address this problem, this paper defines "true match" as a pair of keypoints which are similar on three levels, i.e., local, regional, and global. Then, a principled probabilistic framework is established, which is capable of implicitly integrating discriminative cues from all these feature levels. Specifically, the Convolutional Neural Network (CNN) is employed to extract features from regional and global patches, leading to the so-called "Deep Embedding" framework. CNN has been shown to produce excellent performance on a dozen computer vision tasks such as image classification and detection, but few works have been done on BoW based image retrieval. In this paper, firstly we show that proper pre-processing techniques are necessary for effective usage of CNN feature. Then, in the attempt to fit it into our model, a novel indexing structure called "Deep Indexing" is introduced, which dramatically reduces memory usage. Extensive experiments on three benchmark datasets demonstrate that, the proposed Deep Embedding method greatly promotes the retrieval accuracy when CNN feature is integrated. We show that our method is efficient in terms of both memory and time cost, and compares favorably with the state-of-the-art methods.

研究の動機と目的

• 局所特徴以外の文脈的証拠を無視することで生じるBag-of-Words（BoW）画像検索における高い誤マッチ率を是正すること。
• 局所的（SIFT）、領域的（画像パッチ上のCNN）、グローバル（全画像上のCNN）の多段階文脈的手がかりを、整合的な確率的モデルに統合すること。
• 「Deep Indexing」と呼ばれる新規なインデキシング構造を用いて、CNN特徴量をBoWフレームワークに効果的に統合すること。
• 特に大きな視覚的変化が生じる状況下でも、従来の色ヒストグラムよりも強力で、より特徴的な手がかりを提供するCNN特徴量の有効性を示すこと。
• 大規模な環境下でも、低メモリ使用量と低クエリ時間のオーバーヘッドを維持しながら、最先端の検索精度を達成すること。

提案手法

• 真のマッチを、局所的（SIFT）、領域的（80個の画像パッチ上のCNN）、グローバル（全画像上のCNN）の3レベルすべてで視覚的に類似しているキーポoinペアとして定義する。
• マッチング信頼度を3段階の類似度スコアの積として暗黙的に定式化することで、多段階特徴量の整合的統合を可能にする確率的モデルを構築する。
• 事前学習済みのCNNを用いて、領域的およびグローバルな画像パッチからの高レベルの意味的表現を抽出する。
• バイナリCNN特徴量の効率的保存と検索を可能にする「Deep Indexing」構造を導入し、ベースラインのBoWおよびハミング埋め込み法と比較してメモリ使用量を削減する。
• リアルタイム検索のため、TF-IDF重み付けとインverted fileインデキシングを適用し、CNN特徴量を標準的なBoWパイプラインに統合する。
• グラフ統合とクエリ拡張といった後処理技術を用いて、ベンチマークデータセット上の性能をさらに向上させる。

実験結果

リサーチクエスチョン

• RQ1 局所特徴に加えて領域的およびグローバルな文脈的手がかりを統合することで、BoWベースの画像検索における誤マッチを顕著に低減できるか？
• RQ2 過度なメモリ使用量や計算コストを伴わずに、深層CNN特徴量を従来のBoW検索パイプラインに効果的かつ効率的に統合できるか？
• RQ3 局所的、領域的、グローバルな類似度を統合する本手法の確率的統合フレームワークは、既存手法を上回る検索精度を達成できるか？
• RQ4 大きな視覚的変化に耐える状況下で、CNNベースの文脈的特徴量は、従来の色ベースの文脈的手がかりと比較して、どのような影響を及ぼすか？
• RQ5 大規模な画像検索環境において、Deep Embeddingフレームワークは、最先端の性能を達成しながらも、高い効率（メモリ使用量およびクエリ時間）を維持できるか？

主な発見

• 提案手法のDeep Embeddingは、Post-processingを施さない状態でも、HolidaysデータセットでmAP 88.1%、Oxford5kで82.0%を達成し、BoWベースラインおよび先行の最先端手法を上回る。
• グラフ統合とクエリ拡張による後処理を施した場合、UkbenchではN-Sスコア3.87、HolidaysではmAP 87.3%を達成し、最先端手法と同等の競争力を持つことが示された。
• 128ビットハミング埋め込み法と比較して、メモリ使用量は2.26 GB増加にとどまり、多段階文脈フィルタリングによる誤マッチの低減が実現された。
• Holidays+1Mデータセットにおけるクエリ時間は1クエリあたり2.32秒であり、ハミング埋め込み法（2.70秒）と比較してわずかに上回るにとどまり、追加のハミング距離計算を伴うにもかかわらず高い効率性を示した。
• Holidaysデータセットにおける視覚的結果から、局所的SIFT特徴量が曖昧であっても、CNN特徴量が保持する意味的ヒントのおかげで、意味的に関連性のある画像が正しく検索されていることが確認された。
• 広範なアブレーション実験の結果、特に外観の大きな変化が生じる状況下でも、色ヒストグラムと比較して、CNNベースの領域的およびグローバル特徴量が文脈的証拠をより効果的に捉えていることが示された。