[논문 리뷰] Content-Based Image Retrieval Using Multiresolution Analysis Of Shape-Based Classified Images

Ibrahim Elhenawy, Kareem Ahmed|arXiv (Cornell University)|2016. 10. 08.

Image Retrieval and Classification Techniques인용 수 3

한 줄 요약

이 논문은 2D 이산 웨이블릿 변환(DWT)과 형태 뼈대화를 통해 다중해상도 분석을 활용하여 색상, 텍스처, 형태 특징을 통합하는 새로운 콘텐츠 기반 이미지 검색(CBIR) 시스템을 제안한다. RGB 채널, DWT 서브밴드, 그리고 뼈대 형태의 특징 벡터를 추출하여 MySQL 데이터베이스에 저장함으로써, 10,000장의 이미지 데이터셋에서 평균 96.4%의 정확한 검색률을 달성하며 빠른 쿼리 응답 시간을 확보한다.

ABSTRACT

Content-Based Image Retrieval (CBIR) systems have been widely used for a wide range of applications such as Art collections, Crime prevention and Intellectual property. In this paper, a novel CBIR system, which utilizes visual contents (color, texture and shape) of an image to retrieve images, is proposed. The proposed system builds three feature vectors and stores them into MySQL database. The first feature vector uses descriptive statistics to describe the distribution of data in each channel of RGB channels of the image. The second feature vector describes the texture using eigenvalues of the 39 sub-bands that are generated after applying four levels 2D DWT in each channel (red, green and blue channels) of the image. These wavelets sub-bands perfectly describes the horizontal, vertical and diagonal edges that exist in the multi-resolution analysis of the image. The third feature vector describes the basic shapes that exist in the skeletonization version of the black and white representation of the image. Experimental results on a private MYSQL database that consists of 10000 images, using color, texture, shape and stored relevance feedbacks, showed 96.4% average correct retrieval rate in an efficient recovery time.

연구 동기 및 목표

• 색상, 텍스처, 형태와 같은 다중 시각적 특징을 통합하여 콘텐츠 기반 이미지 검색 정확도를 향상시키기 위해.
• RGB 채널의 다중 서브밴드에서 세부적인 텍스처 정보를 추출하기 위해 2D DWT를 활용한 다중해상도 분석을 활용하기 위해.
• 이진 이미지 표현의 뼈대화를 통해 이미지 내 주요 형태를 분류하고 표현하기 위해.
• 추출된 특징을 관계형 데이터베이스(MySQL)에 저장하여 효율적인 인덱싱과 빠른 검색을 가능하게 하기 위해.
• 실제 이미지 데이터셋과 관련 피드백을 활용하여 시스템 성능을 평가하기 위해.

제안 방법

• 각 이미지의 빨강, 초록, 파랑 채널에서 기술 통계를 사용하여 색상 특징을 추출한다.
• 각 RGB 채널에 대해 4단계 2D 이산 웨이블릿 변환(DWT)을 적용하여 수평, 수직, 대각선 에지 정보를 캡처하는 39개의 서브밴드를 생성한다.
• 39개의 DWT 서브밴드에서 고유값을 계산하여 다중해상도 프레임워크 내에서 텍스처 특징을 표현한다.
• 이미지를 이진화하고 뼈대화한 후 주요 형태를 탐지하고 형태 기반 특징 벡터로 인코딩한다.
• 색상, 텍스처, 형태의 세 가지 별개의 특징 벡터를 통합하여 MySQL 데이터베이스에 저장하여 인덱싱 및 검색을 수행한다.
• 유저 피드백에 기반하여 검색 결과를 반복적으로 개선하기 위해 관련성 피드백을 통합한다.

실험 결과

연구 질문

• RQ1 2D DWT를 통한 다중해상도 텍스처 표현은 CBIR 시스템에서 텍스처 구분 능력을 향상시키는가?
• RQ2 형태 뼈대화는 이미지 검색을 위해 주요 형태를 효과적으로 캡처하고 표현할 수 있는가?
• RQ3 색상, 텍스처, 형태 특징을 통합함으로써 대규모 이미지 데이터베이스에서 검색 정확도에 어떤 영향을 미치는가?
• RQ4 이 특징 기반 시스템에서 관련성 피드백 통합이 검색 성능에 어떤 영향을 미치는가?
• RQ5 관계형 데이터베이스는 실시간 CBIR 응용 프로그램을 위한 복잡한 시각적 특징 벡터를 효율적으로 저장하고 검색할 수 있는가?

주요 결과

• 제안된 CBIR 시스템은 10,000장의 이미지로 구성된 사적 데이터베이스에서 평균 96.4%의 정확한 검색률을 달성했다.
• 색상, 텍스처, 형태 특징의 통합은 단일 특징 접근 방식에 비해 검색 정확도를 크게 향상시켰다.
• 다중해상도 DWT 분석은 각 RGB 채널에서 다중 스케일의 에지 및 텍스처 특성을 효과적으로 캡처했다.
• 뼈대화를 통한 형태 표현은 이미지 내 기본 기하 형태의 강력한 식별을 가능하게 했다.
• 시스템은 빠른 복구 시간을 보이며 대규모 이미지 컬렉션에 대한 확장성을 입증했다.
• 관련성 피드백 통합으로 인해 사용자 피드백에 기반한 검색 결과 개선을 통해 정밀도가 더욱 향상되었다.