[논문 리뷰] A Hybrid Approach for Improved Content-based Image Retrieval using Segmentation

Smarajit Bose, Amita Pal외 3명|arXiv (Cornell University)|2015. 02. 11.

Image Retrieval and Classification Techniques참고 문헌 13인용 수 4

한 줄 요약

이 논문은 이미지 분할을 통해 형태 정보를 통합하고, 새로운 관련성 피드백 메커니즘을 도입함으로써 색상 기반 검색을 향상시키는 하이브리드 컨텐츠 기반 이미지 검색(CBIR) 시스템을 제안한다. 분할에서 유도된 특징과 동적 특징 재가중 및 관련 집합의 개선된 초기화를 결합함으로써, 정밀도, 재현율 및 효율성 측면에서 여러 데이터베이스에서 기존 방법보다 뛰어난 성능을 보이며 검색 정확도를 크게 향상시킨다.

ABSTRACT

The objective of Content-Based Image Retrieval (CBIR) methods is essentially to extract, from large (image) databases, a specified number of images similar in visual and semantic content to a so-called query image. To bridge the semantic gap that exists between the representation of an image by low-level features (namely, colour, shape, texture) and its high-level semantic content as perceived by humans, CBIR systems typically make use of the relevance feedback (RF) mechanism. RF iteratively incorporates user-given inputs regarding the relevance of retrieved images, to improve retrieval efficiency. One approach is to vary the weights of the features dynamically via feature reweighting. In this work, an attempt has been made to improve retrieval accuracy by enhancing a CBIR system based on color features alone, through implicit incorporation of shape information obtained through prior segmentation of the images. Novel schemes for feature reweighting as well as for initialization of the relevant set for improved relevance feedback, have also been proposed for boosting performance of RF- based CBIR. At the same time, new measures for evaluation of retrieval accuracy have been suggested, to overcome the limitations of existing measures in the RF context. Results of extensive experiments have been presented to illustrate the effectiveness of the proposed approaches.

연구 동기 및 목표

• 저수준의 이미지 특징과 고수준의 인간 인식 간의 의미적 갭을 해소하기 위해 컨텐츠 기반 이미지 검색에서의 의미적 갭을 줄이기 위해.
• 색상 기반 CBIR 시스템에 이미지 분할에서 유도된 형태 정보를 통합하여 검색 정확도를 향상시키기 위해.
• 최적화된 초기화와 동적 특징 재가중을 갖춘 새로운 관련성 피드백 메커니즘을 개발하여 성능을 향상시키기 위해.
• 伝통적인 정밀도와 재현율의 한계를 극복하는 새로운 평가 척도를 제안하기 위해.
• 다양한 이미지 데이터베이스를 대상으로 포괄적인 실험 평가를 통해 하이브리드 접근의 유효성을 검증하기 위해.

제안 방법

• 시스템은 쿼리 및 데이터베이스 이미지 모두를 분할하여 영역 기반 특징을 추출함으로써 전역 색상 특징을 넘어서 형태 인식 매칭을 가능하게 한다.
• 전역 색상 특징과 분할 기반 특징을 조합한 하이브리드 검색 전략을 통해 유사도 측정을 향상시킨다.
• 새로운 특징 재가중 전략은 관련성 피드백에 기반해 특징 가중치를 동적으로 조정하여 관련 및 비관련 이미지를 가장 잘 구분하는 특징에 초점을 맞춘다.
• 교차, 합집합, 조합의 세 가지 초기화 방법을 제안하여 관련 집합의 초기화를 정교화함으로써 수렴성과 정확도를 향상시킨다.
• 관련 이미지까지의 최소 거리를 고려하는 인스턴스 기반 거리 측정법을 적용하여 특징 공간 내 검색 효율성을 향상시킨다.
• 기존 정밀도 및 재현율의 단점을 보완하기 위해 관련성 피드백 상황에서의 검색 성능 평가를 더 잘 수반하는 새로운 평가 척도를 도입한다.

실험 결과

연구 질문

• RQ1 이미지 분할에서 유도된 형태 정보를 통합함으로써 색상 기반 컨텐츠 기반 이미지 검색의 정확도를 향상시킬 수 있는가?
• RQ2 제안된 관련 집합 초기화 전략이 기존 방법에 비해 관련성 피드백에서의 검색 성능에 어떤 영향을 미치는가?
• RQ3 분할 강화 특징에 기반한 동적 특징 재가중이 CBIR 시스템의 정밀도와 재현율을 어느 정도 향상시키는가?
• RQ4 제안된 평가 척도가 기존 지표에 비해 관련성 피드백 성능 평가에서 더 정확하고 신뢰할 수 있는 평가를 제공하는가?
• RQ5 다양한 이미지 데이터베이스에서 전체 검색 효율성과 정확도를 고려할 때, 어떤 초기화 및 재가중 전략 조합이 가장 우수한 성능을 내는가?

주요 결과

• 제안된 WS_comb 초기화 방법은 DB2000에서 최고의 검색 효율성(97.26%)과 가장 낮은 가짜 발견률(35.71%)을 기록하여 기존의 WOS 방법을 뛰어넘었다.
• DB2020에서 WS_comb 접근법은 최종 반복에서 정밀도를 WOS의 49.07%에서 55.39%로 향상시키고 재현율을 9.64%에서 10.71%로 높였다. 이는 일관된 성능 향상을 보여주었다.
• DB2000에서 WS_inter 및 WS_comb 전략은 각각 WOS 대비 가짜 발견률을 5.4%, 14.7% 감소시켰으며, 검색 효율성 향상도 함께 달성했다.
• WS_comb 방법은 모든 테스트 데이터베이스에서 정밀도, 재현율, 효율성 모든 지표에서 WOS 및 기타 초기화 변형보다 뛰어난 균형을 이룩했다.
• 제안된 평가 척도는 특히 초기 피드백 반복에서의 성능 향상을 더 세밀하게 드러내었으며, 기존 지표가 자주 가리키는 경향이 있는 성능 향상의 미세한 경향을 보다 정확히 파악할 수 있었다.
• 하이브리드 접근법은 효과적으로 색상 특징과 분할 기반 형태 특징을 통합함으로써 의미적 갭을 크게 줄였고, 더 의미적으로 관련성이 높은 결과를 도출했다.