[논문 리뷰] Automatic Feature Weight Determination using Indexing and Pseudo-Relevance Feedback for Multi-feature Content-Based Image Retrieval

Asheet Kumar, Shivam Choudhary외 3명|arXiv (Cornell University)|2018. 12. 10.

Image Retrieval and Classification Techniques인용 수 4

한 줄 요약

이 논문은 색상, 텍스처, 형상 기술자(CDH, LBP, CLD, EOH)를 결합하고 다중 클래스 SVM 기반 색인 및 관련성 비율/평균 차이 기법을 사용하여 최적의 특징 가중치를 자동으로 결정하는 새로운 다중 특징 기반 콘텐츠 기반 영상 검색(CBIR) 프레임워크를 제안한다. 색인과 가짜 관련성 피드백을 활용함으로써 검색 공간이 81.25% 감소하고, 최고의 검색 정확도를 달성하며, 통합된 특징 접근 방식은 캐나다 거리 측정법을 사용할 때 Dataset D3에서 가장 높은 AUC(0.951)를 기록한다.

ABSTRACT

Content-based image retrieval (CBIR) is one of the most active research areas in multimedia information retrieval. Given a query image, the task is to search relevant images in a repository. Low level features like color, texture, and shape feature vectors of an image are always considered to be an important attribute in CBIR system. Thus the performance of the CBIR system can be enhanced by combining these feature vectors. In this paper, we propose a novel CBIR framework by applying to index using multiclass SVM and finding the appropriate weights of the individual features automatically using the relevance ratio and mean difference. We have taken four feature descriptors to represent color, texture and shape features. During retrieval, feature vectors of query image are combined, weighted and compared with feature vectors of images in the database to rank order the results. Experiments were performed on four benchmark datasets and performance is compared with existing techniques to validate the superiority of our proposed framework.

연구 동기 및 목표

• 라벨이 부여된 학습 데이터가 필요 없이 다중 특징 기반 CBIR에서 최적의 특징 가중치 할당 문제를 해결한다.
• 검색 공간를 제한하기 위해 영상 색인을 활용하여 대규모 영상 검색에서 계산 비용을 감소시킨다.
• 각 쿼리 영상에 대해 가장 관련성이 높은 특징 기술자를 자동으로 식별함으로써 검색 정확도를 향상시킨다.
• 다양한 저수준 특징(색상, 텍스처, 형상)을 동적 가중치와 함께 조합하여 검색 성능을 향상시키는 프레임워크를 개발한다.
• 최신 기술들과의 비교를 통해 제안된 방법을 다수의 벤치마크 데이터셋에서 검증한다.

제안 방법

• 다중 클래스 서포트 벡터 머신(SVM)을 사용하여 영상 색인을 구현하여 상위 3개의 관련 영상 카테고리를 예측함으로써 검색 공간을 81.25% 감소시킨다.
• 색상, 텍스처, 형상 표현을 위해 네 가지 특징 기술자인 색상 차이 히스토그램(CDH), 국소 이진 패턴(LBP), 공존 국소 기술자(CLD), 에지 방향 히스토그램(EOH)을 사용한다.
• 정밀도-재현율 곡선에서의 성능에 기반하여 관련성 비율 및 평균 차이 기법을 적용하여 개별 특징의 최적 가중치를 자동으로 계산한다.
• 거리 측정법(Canberra, 카이제곱, 유클리드)을 사용하여 가중 특징 벡터를 조합하여 데이터베이스 내 영상의 순위를 매긴다.
• 상위 순위의 영상들을 가짜 관련 영상로 선택하여 반복적으로 특징 가중치 할당을 개선하는 가짜 관련성 피드백을 활용한다.
• 각 특징 기술자에 대해 정밀도-재현율 곡선 아래 면적(AUC)을 사용하여 초기 가중치를 정규화하여 균형 잡힌 초기화를 보장한다.

실험 결과

연구 질문

• RQ1 라벨이 부여된 학습 데이터가 필요 없이 다중 특징 기반 CBIR 시스템에서 특징 가중치를 어떻게 자동으로 결정할 수 있는가?
• RQ2 다중 클래스 SVM를 사용한 영상 색인은 대규모 CBIR 시스템에서 검색 공간을 얼마나 줄이는가?
• RQ3 색상 차이 히스토그램(CDH), 국소 이진 패턴(LBP), 공존 국소 기술자(CLD), 에지 방향 히스토그램(EOH) 중 어떤 조합이 다양한 데이터셋에서 가장 높은 검색 정확도를 달성하는가?
• RQ4 제안된 자동 가중치 할당 방법은 정규화된 가중치 또는 고정된 가중치 전략에 비해 정밀도와 재현율 측면에서 어떻게 비교되는가?
• RQ5 관련성 비율 및 평균 차이 기법은 주어진 쿼리 영상에 대해 가장 구분력이 높은 특징 기술자를 효과적으로 식별할 수 있는가?

주요 결과

• 제안된 방법은 다중 클래스 SVM 기반 영상 색인을 통해 검색 공간을 81.25% 감소시켜 검색 효율을 크게 향상시켰다.
• 자동으로 할당된 가중치를 가진 통합 특징 기술자는 캐나다 거리 측정법을 사용할 때 Dataset D3에서 가장 높은 정밀도-재현율 곡선 아래 면적(AUC = 0.951)을 기록했다.
• 색상 차이 히스토그램(CDH)은 Dataset D1에서 단독으로 가장 높은 개별 AUC(0.97)를 기록했지만, 모든 데이터셋에서 통합 접근 방식이 모든 개별 특징보다 뛰어난 성능을 보였다.
• 관련성 비율 기반 가중치 할당 기법은 동일 가중치 또는 고정 가중치 전략에 비해 일관되게 검색 정확도를 향상시켰으며, 캐나다 거리 측정법을 사용할 때 가장 뛰어난 성능을 보였다.
• 이 방법은 각 쿼리 영상에 대해 가장 관련성이 높은 특징 기술자를 성공적으로 식별했으며, Dataset D2와 D3에서는 CLD가 가장 높은 가중치를 받았고, D1에서는 CDH가 지배적인 경향을 보였다.
• 평균적으로 통합 특징 접근 방식은 모든 데이터셋과 거리 측정법에서 가장 뛰어난 개별 특징보다 AUC를 8.5% 향상시켰다.