[논문 리뷰] Perceptual uniform descriptor and Ranking on manifold: A bridge between image representation and ranking for image retrieval

Shenglan Liu, Jun Wu외 5명|arXiv (Cornell University)|2016. 09. 24.

Image Retrieval and Classification Techniques참고 문헌 34인용 수 9

한 줄 요약

이 논문은 게슈탈트 심리학에 영감을 받은 통합적 이미지 기술자인 감각 균일 기술자(PUD)를 제안한다. PUD는 색상과 기울기 방향을 통합하여 시각적 균일성을 향상시킨다. 다양체 학습과 다양체 순서 매기기 기법을 활용하여, PUD는 벤치마크 데이터셋에서 mAP 81.77%와 N-S 점수 3.58를 기록하며 최신의 통합적 및 국소적 기술자들을 능가하는 뛰어난 이미지 검색 성능을 달성한다.

ABSTRACT

Incompatibility of image descriptor and ranking is always neglected in image retrieval. In this paper, manifold learning and Gestalt psychology theory are involved to solve the incompatibility problem. A new holistic descriptor called Perceptual Uniform Descriptor (PUD) based on Gestalt psychology is proposed, which combines color and gradient direction to imitate the human visual uniformity. PUD features in the same class images distributes on one manifold in most cases because PUD improves the visual uniformity of the traditional descriptors. Thus, we use manifold ranking and PUD to realize image retrieval. Experiments were carried out on five benchmark data sets, and the proposed method can greatly improve the accuracy of image retrieval. Our experimental results in the Ukbench and Corel-1K datasets demonstrated that N-S score reached to 3.58 (HSV 3.4) and mAP to 81.77% (ODBTC 77.9%) respectively by utilizing PUD which has only 280 dimension. The results are higher than other holistic image descriptors (even some local ones) and state-of-the-arts retrieval methods.

연구 동기 및 목표

• 콘텐츠 기반 이미지 검색에서 이미지 기술자와 순서 매기기 방법 간의 불일치 문제를 해결하기 위해.
• 인간 시각 인지 방식을 모방하는 감각 균일성을 통해 통합적 이미지 기술자를 개발하기 위해.
• PUD를 다양체 순서 매기기와 통합하여 이미지 표현과 순서 매기기 간의 다리를 놓고 검색 성능을 향상시키기 위해.
• 기술자-순서 매기기 호환성이 검색 정확도 향상에 크게 기여한다는 것을 입증하기 위해.

제안 방법

• 게슈탈트 심리학에 기반한 280차원의 통합 기술자인 감각 균일 기술자(PUD)를 제안하며, 색상과 기울기 방향을 통합하여 인간의 시각 균일성을 반영한다.
• 다양체 학습(LLE 등)을 활용하여 PUD 특징가 다양체 위에 군집됨을 시각화하고 검증함으로써 구조적 일관성을 입증한다.
• 다양체 순서 매기기(MR)를 적용하여 그래프 행렬을 통해 관련도 점수를 전파하고, 국소적 다양체 구조를 활용하여 순서를 매긴다.
• 행렬 S를 활용한 그래프 기반 순서 매기기로 유사 샘플 간에 질의 관련도를 전파하여, 노름 기반 방법보다 정밀도를 향상시킨다.
• PUD와 다양체 순서 매기기를 통합하여 이미지 검색을 위한 통합 프레임워크를 구축함으로써 표현과 순서 매기기 간 호환성을 확보한다.
• 다양한 이미지 분포를 갖는 벤치마크 데이터셋(Ukbench, Corel-1K, Coil-100, Cifar-10)을 활용하여 성능을 평가한다.

실험 결과

연구 질문

• RQ1 게슈탈트 심리학에 기반한 통합적 이미지 기술자가 기존 기술자들보다 더 뛰어난 감각 균일성을 달성할 수 있는가?
• RQ2 PUD와 다양체 순서 매기기의 조합이 노름 기반 순서 매기기 및 다른 최신 기술자들보다 뛰어난 성능을 보일 수 있는가?
• RQ3 기술자-순서 매기기 호환성이 이미지 검색 정확도 향상에 어느 정도 기여하는가?
• RQ4 왜 일부 경우에서 다양체 순서 매기기가 노름 기반 순서 매기기보다 우수한가, 특히 공간적 및 감각적 관계를 유지하는 데서인가?

주요 결과

• PUD는 Corel-1K에서 mAP 81.77%를 기록하여 ODTBC(77.9%) 및 기타 통합 기술자들을 크게 앞서며 뛰어난 성능을 보였다.
• Ukbench에서 PUD-MR1은 N-S 점수 3.58을 기록하여 HSV(3.40)와 LBP(1.84)를 뛰어넘어 다양체 순서 매기기에서 뛰어난 성능을 입증했다.
• Cifar-10에서 PUD-MR2는 400개의 반환 결과에서 평균 정밀도 32.65%를 기록하여 CNN(29.66%)와 PUD-SBML(27.55%)를 모두 앞섰다.
• LLE를 통한 시각화 결과, PUD 특징는 LBP, HSV, MSD, CDH보다 더 단단하고 균일한 다양체를 형성하는 것으로 확인되었다.
• 다양체 순서 매기기가 노름 기반 방법보다 우수한 이유는 그래프 구조를 통해 관련도를 전파함으로써 임의의 양성 결과를 줄이기 때문이다.
• PUD와 다양체 순서 매기기의 조합은 다섯 개의 벤치마크 데이터셋에서 모두 뛰어난 성능을 보이며, 기술자-순서 매기기 호환성의 중요성을 입증했다.