[論文レビュー] Relevance Feedback in Conceptual Image Retrieval: A User Evaluation

José Manuel Torres, Luís Paulo Reis|ArXiv.org|Sep 28, 2008

Image Retrieval and Classification Techniques参考文献 17被引用数 7

ひとこと要約

本稿は、VOIRシステムにおける領域ベースの関連フィードバックの有効性を評価している。VOIRは、重み付き関連性を介してテキストのthesaurus用語と視覚的領域を統合する概念的画像検索フレームワークである。3つのVOIRバージョンにおけるユーザーテストの結果、領域レベルの関連フィードバックを組み込むことで、検索品質が著しく向上し、新たなテキスト-画像関連性が発見され、フィードバックなしまたは視覚的フィードバックのみのバージョンを上回ることが示された。

ABSTRACT

The Visual Object Information Retrieval (VOIR) system described in this paper implements an image retrieval approach that combines two layers, the conceptual and the visual layer. It uses terms from a textual thesaurus to represent the conceptual information and also works with image regions, the visual information. The terms are related with the image regions through a weighted association enabling the execution of concept-level queries. VOIR uses region-based relevance feedback to improve the quality of the results in each query session and to discover new associations between text and image. This paper describes a user-centred and task-oriented comparative evaluation of VOIR which was undertaken considering three distinct versions of VOIR: a full-fledge version; one supporting relevance feedback only at image level; and a third version not supporting relevance feedback at all. The evaluation performed showed the usefulness of region based relevance feedback in the context of VOIR prototype.

研究の動機と目的

• 関連フィードバックが概念的画像検索の品質を向上させる有効性を評価すること。
• VOIRシステムの異なる構成（完全機能版、画像レベルのフィードバックのみ、フィードバックなし）を比較すること。
• フィードバック統合の度合いに応じたユーザーパフォーマンスおよび満足度を評価すること。
• タスク指向の文脈において、関連フィードバックがテキスト-画像関連性の発見をどのように改善するかを調査すること。
• 領域ベースのフィードバックがクエリ結果の精錬と意味的関連性の拡張をどのように支援するかを検証すること。

提案手法

• VOIRシステムは、テキストのthesaurus用語を用いた概念層と、画像領域に基づく視覚層を統合する。
• テキスト用語は、重み付き関連性を通じて画像領域にリンクされ、概念レベルのクエリを支援する。
• 領域ベースの関連フィードバックは、ユーザーが関連性または非関連性と判断した画像領域を用いてクエリを精錬することを可能にする。
• 3つのVOIRバージョンを評価した：二重フィードバックを備えた完全機能版、画像レベルのフィードバックのみ、フィードバックなし。
• 3つの構成間でのシステムパフォーマンスを比較するために、ユーザ中心でタスク指向の評価を実施した。
• フィードバックを繰り返し適用することで、検索結果の改善と、テキスト用語と画像領域間の新たな関連性の発見を実現した。

実験結果

リサーチクエスチョン

• RQ1 領域ベースの関連フィードバックは、VOIRシステムにおける検索精度を有意に向上させるか？
• RQ2 画像領域レベルでの関連フィードバックは、視覚的レベルでのフィードバックのみ、またはフィードバックなしの状況と比較して、どのように差が現れるか？
• RQ3 関連フィードバックは、概念的画像検索において、新たなテキスト-画像関連性の発見にどの程度寄与するか？
• RQ4 ユーザーはタスク指向の検索文脈において、フィードバックメカニズムをどのように認識し、操作するか？
• RQ5 フィードバックメカニズムは、初期のクエリパフォーマンスを超えて、結果の精錬能力を向上させることができるか？

主な発見

• 領域ベースの関連フィードバックを備えた完全機能版VOIRが、3つの構成の中で最高の検索パフォーマンスを達成した。
• ユーザーは、領域ベースのフィードバックを使用することで、結果の質が向上し、検索結果に対する信頼感が高まったと報告した。
• フィードバックを通じて、システムは新たなテキスト-画像関連性を効果的に発見し、時間経過とともに意味的カバレッジを拡大した。
• 画像レベルのフィードバックのみのバージョンは、フィードバックなしのバージョンより優れていたが、概念的フィードバックを備えた完全システムには及ばなかった。
• ユーザーテストの結果、関連フィードバックが概念的画像検索タスクにおける正確性とユーザ満足度の両面で顕著に向上させることを確認した。
• 概念的フィードバック層と視覚的フィードバック層の統合が、単独でのフィードバックメカニズムよりも効果的であることが示された。