[論文レビュー] Content-Based Sub-Image Retrieval with Relevance Feedback

Jie Luo, Mário A. Nascimento|ArXiv.org|Apr 26, 2009

Image Retrieval and Classification Techniques参考文献 17被引用数 3

ひとこと要約

この論文は、クエリ画像をサブ領域として含むデータベース内の画像を検索する内容ベースのサブ画像検索（CBsIR）のための新規な関連フィードバック手法を提案する。画像を重複するタイルとしてモデル化し、ユーザーフィードバックに基づいて繰り返しタイルペナルティを再重み付けすることで、標準デスクトップ上で1回の反復が約2秒で実行され、わずか5反復でトップ20結果内に安定した平均リ call 70%を達成する。

ABSTRACT

The typical content-based image retrieval problem is to find images within a database that are similar to a given query image. This paper presents a solution to a different problem, namely that of content based sub-image retrieval, i.e., finding images from a database that contains another image. Note that this is different from finding a region in a (segmented) image that is similar to another image region given as a query. We present a technique for CBsIR that explores relevance feedback, i.e., the user's input on intermediary results, in order to improve retrieval efficiency. Upon modeling images as a set of overlapping and recursive tiles, we use a tile re-weighting scheme that assigns penalties to each tile of the database images and updates the tile penalties for all relevant images retrieved at each iteration using both the relevant and irrelevant images identified by the user. Each tile is modeled by means of its color content using a compact but very efficient method which can, indirectly, capture some notion of texture as well, despite the fact that only color information is maintained. Performance evaluation on a largely heterogeneous dataset of over 10,000 images shows that the system can achieve a stable average recall value of 70% within the top 20 retrieved (and presented) images after only 5 iterations, with each such iteration taking about 2 seconds on an off-the-shelf desktop computer.

研究の動機と目的

• クエリ画像をサブ領域として含む画像を検索するという目的を、クエリに類似する完全な画像を検索するのではなく、それらのサブ領域を検索することに特化すること。
• 既存の文献でほとんど検討されていないユーザーフィードバックを統合することで、サブ画像検索の検索効果を向上させること。
• 重複するタイルを用いて画像をモデル化し、ユーザが提供する肯定的・否定的例に基づいて動的に類似度を調整するスケーラブルで効率的なシステムを開発すること。
• 10,000枚を超える多様な画像からなる大規模なデータセットを用いて評価することで、耐障害性と性能を実証すること。

提案手法

• 画像を複数スケールでの空間的・色ベースのコンテンツを捉えるために、重複する再帰的タイルの集合としてモデル化する。
• 各タイルは、色のコンパクトなヒストグラムを用いて色の内容を符号化し、間接的にテクスチャを捉えるBIC（Bag of Image Colors）手法で表現する。
• タイルの関連性に基づいてペナルティを割り当てるタイル再重み付け方式を採用し、ユーザが取得した結果についてフィードバックすることでペナルティを反復的に更新する。
• タイル距離にその対応するペナルティを重み付けすることで、類似度を洗練させ、一貫して関連性が高いとされるタイルに高い重要度を与える。
• ユーザのフィードバックを用いて関連する画像と関連しない画像を特定し、それらを基にすべての関連する画像におけるタイルペナルティを更新する。
• このプロセスは反復的である：各フィードバックラウンドの後、更新された類似度測定に基づいてデータベース内の画像を再ランク付けする。

実験結果

リサーチクエスチョン

• RQ1 関連フィードバックは、クエリ画像をサブ領域として含む画像を検索するコンテンツベースのサブ画像検索（CBsIR）において、検索パフォーマンスを顕著に向上させることができるか？
• RQ2 ユーザーフィードバックに基づくタイル再重み付け機構は、サブ画像検索の精度と収束性をどのように向上させるか？
• RQ3 BIC表現における量子化色の数を変更した場合、検索パフォーマンスとシステム効率にどのような影響を与えるか？
• RQ4 複雑なコンテンツを有する大規模な画像データベースを処理する際、システムはどのように効率性とスケーラビリティを維持できるか？
• RQ5 ユーザーフィードバックは、サブ画像検索において低レベルの画像特徴と高レベルの意味的意図のギャップをどの程度縮小できるか？

主な発見

• 関連フィードバックの5反復後、トップ20の検索結果内で安定した平均リ call 70%を達成する。
• BIC表現で16色の量子化を使用すると、64色を使用した場合の2.5秒から比べて、クエリ処理時間を約1秒に短縮できるが、同等の検索効果を維持する。
• 16色表現は学習が遅いが、最終的には同程度のパフォーマンスに到達する。一方、64色表現は初期学習が速いが、計算コストが高くなる。
• 16色を使用した場合、メタデータのストレージコストは2.7 MBにとどまり、画像データベースサイズの約20%にとどまるため、効率的なストレージ使用が実証された。
• 標準デスクトップ上で1回の反復あたり2秒未満でクエリを処理でき、インタラクティブ利用に実用的である。
• タイル再重み付け機構は、関連のないタイルにペナルティを科し、関連のあるタイルを強化することで、反復の度に順位付けの正確性を顕著に向上させる。