[論文レビュー] A Hybrid Approach for Improved Content-based Image Retrieval using Segmentation

Smarajit Bose, Amita Pal+3 more|arXiv (Cornell University)|Feb 11, 2015

Image Retrieval and Classification Techniques参考文献 13被引用数 4

ひとこと要約

本論文は、画像セグメンテーションと新規の関連フィードバックメカニズムを用いて形状情報を統合することで、色ベースの検索を強化するハイブリッドなコンテンツベース画像検索（CBIR）システムを提案する。セグメンテーションから得られる特徴量と動的特徴量再重み付け、関連集合の改善された初期化を組み合わせることで、精度が著しく向上し、WS_combの初期化方式が複数のデータベースにおいて精度、再現率、効率性の観点で従来手法を上回る。

ABSTRACT

The objective of Content-Based Image Retrieval (CBIR) methods is essentially to extract, from large (image) databases, a specified number of images similar in visual and semantic content to a so-called query image. To bridge the semantic gap that exists between the representation of an image by low-level features (namely, colour, shape, texture) and its high-level semantic content as perceived by humans, CBIR systems typically make use of the relevance feedback (RF) mechanism. RF iteratively incorporates user-given inputs regarding the relevance of retrieved images, to improve retrieval efficiency. One approach is to vary the weights of the features dynamically via feature reweighting. In this work, an attempt has been made to improve retrieval accuracy by enhancing a CBIR system based on color features alone, through implicit incorporation of shape information obtained through prior segmentation of the images. Novel schemes for feature reweighting as well as for initialization of the relevant set for improved relevance feedback, have also been proposed for boosting performance of RF- based CBIR. At the same time, new measures for evaluation of retrieval accuracy have been suggested, to overcome the limitations of existing measures in the RF context. Results of extensive experiments have been presented to illustrate the effectiveness of the proposed approaches.

研究の動機と目的

• 低レベルの画像特徴と高レベルの人間の認識の間の意味的ギャップを埋めること。
• 画像セグメンテーションからの形状情報を色ベースのCBIRシステムに統合することで、検索精度を向上させること。
• 最適化された初期化と動的特徴量再重み付けを備えた新規な関連フィードバックメカニズムを構築し、性能を向上させること。
• 従来の精度と再現率の限界を克服する新しい評価指標を提案すること。
• 包括的な実験的評価を通じて、多様な画像データベースにおいてハイブリッド手法の有効性を検証すること。

提案手法

• システムはクエリ画像およびデータベース画像の両方をセグメンテーションし、領域固有の特徴量を抽出することで、グローバルな色特徴量を超えた形状に配慮したマッチングを可能にする。
• ハイブリッド検索戦略により、グローバルな色特徴量とセグメンテーションに基づく特徴量を組み合わせ、類似度測定を改善する。
• 新規な特徴量再重み付け方式により、関連フィードバックに基づき特徴量の重みを動的に調整し、関連画像と非関連画像を最も効果的に区別する特徴量を強調する。
• 交差、和集合、組み合わせの3つの初期化方式を提案し、関連集合の初期化を最適化することで収束性と精度を向上させる。
• 関連画像までの最小距離を考慮するインスタンスベースの距離尺度を採用し、特徴空間内での検索効率を向上させる。
• 従来の精度と再現率の欠点を補うために、関連フィードバックの文脈における検索性能をより的確に評価する新しい評価指標を導入する。

実験結果

リサーチクエスチョン

• RQ1 画像セグメンテーションから得られる形状情報を統合することで、色ベースのコンテンツベース画像検索の精度が向上するか？
• RQ2 提案された関連集合の初期化方式は、従来手法と比較して検索性能にどのように影響を与えるか？
• RQ3 セグメンテーション強化特徴量に基づく動的特徴量再重み付けは、CBIRシステムにおける精度と再現率をどの程度向上させるか？
• RQ4 提案された評価指標は、従来の指標と比較して、関連フィードバック性能の評価をより的確かつ信頼性高く行えるか？
• RQ5 初期化と再重み付け戦略のどの組み合わせが、多様な画像データベースにおいて全体的な検索効率と精度を最良に達成するか？

主な発見

• WS_combの初期化方式は、DB2000において最高の検索効率（97.26％）と最低の誤検出率（35.71％）を達成し、従来のWOS手法を上回った。
• DB2020では、WS_combアプローチにより最終イテレーションで精度が49.07％（WOS）から55.39％に、再現率が9.64％から10.71％に向上し、一貫した改善が確認された。
• WS_interおよびWS_comb方式は、DB2000においてWOSと比較して誤検出率をそれぞれ5.4％および14.7％低減させるとともに、検索効率を向上させた。
• WS_comb手法は、全テストデータベースで精度、再現率、効率性のすべての指標において、WOSおよび他の初期化バリエーションを上回るバランスの取れた性能を達成した。
• 提案された評価指標は、標準的な指標がしばしば隠してしまう、初期フィードバックイテレーションにおける改善の兆候をより洗練された形で捉えており、性能トレンドの詳細な分析を可能にした。
• ハイブリッド手法により、色特徴量とセグメンテーションから得られる形状特徴量を効果的に統合することで、意味的ギャップが著しく縮小され、より意味的に関連性の高い結果が得られた。