[논문 리뷰] CoPhIR: a Test Collection for Content-Based Image Retrieval

Paolo Bolettieri, Andrea Esuli외 5명|ArXiv.org|2009. 05. 28.

Image Retrieval and Classification Techniques참고 문헌 5인용 수 153

한 줄 요약

CoPhIR는 웹 크롤링을 통해 Flickr에서 수집하고 EGEE 그리드에서 분산 처리한 방식으로 생성된 1억 장의 이미지와 함께 추출된 MPEG-7 시각적 특징을 포함한 대규모 공개 테스트 컬렉션입니다. 이는 웹 규모에서 유사성 검색을 평가하기 위한 스케일러블한 콘텐츠기반이미지검색(CBIR) 기법의 평가를 가능하게 하며, 기존에 부족했던 대규모 실질적인 데이터셋의 결여 문제를 해결합니다.

ABSTRACT

The scalability, as well as the effectiveness, of the different Content-based Image Retrieval (CBIR) approaches proposed in literature, is today an important research issue. Given the wealth of images on the Web, CBIR systems must in fact leap towards Web-scale datasets. In this paper, we report on our experience in building a test collection of 100 million images, with the corresponding descriptive features, to be used in experimenting new scalable techniques for similarity searching, and comparing their results. In the context of the SAPIR (Search on Audio-visual content using Peer-to-peer Information Retrieval) European project, we had to experiment our distributed similarity searching technology on a realistic data set. Therefore, since no large-scale collection was available for research purposes, we had to tackle the non-trivial process of image crawling and descriptive feature extraction (we used five MPEG-7 features) using the European EGEE computer GRID. The result of this effort is CoPhIR, the first CBIR test collection of such scale. CoPhIR is now open to the research community for experiments and comparisons, and access to the collection was already granted to more than 50 research groups worldwide.

연구 동기 및 목표

• 스케일러블한 콘텐츠기반이미지검색(CBIR) 기법을 평가하기 위한 대규모 공개 이미지 테스트 컬렉션의 부족 문제를 해결하기 위해.
• 실제 웹 규모에서 분산 유사성 검색 연구를 가능하게 하기 위해 1억 장의 이미지로 구성된 현실적인 데이터셋을 제공하기 위해.
• 기존 CBIR 데이터셋이 일반적으로 수천 장의 이미지만 포함하고 있는 점을 감안해, 이에 비해 두 계단 정도의 스케일 업을 수행하기 위해.
• Flickr의 크리에이티브 커먼즈 조건을 준수하고 액세스 제어를 구현함으로써 저작권 및 라이선스 준수를 확보하기 위해.
• 사용자가 제공한 태그, 댓글 및 인기도 메타데이터를 유지함으로써 텍스트-시각 혼합 검색 실험을 지원하기 위해.

제안 방법

• 풍부한 메타데이터를 보유한 신뢰할 수 있는 장기 보관소인 Flickr에서 공개 이미지를 크롤링하여 고품질의 다양성 있는 이미지를 확보하기 위해.
• EGEE 그리드에서 분산 계산을 통해 각 이미지에 대해 5개의 표준화된 MPEG-7 시각적 기술자(색상, 질감, 형태)를 추출하기 위해.
• 이미지 메타데이터, 기술자, 원본 Flickr 항목에 대한 링크를 구조화된 XML 파일에 저장하여 효율적이고 재현 가능한 액세스를 가능하게 하기 위해.
• 크리에이티브 커먼즈 및 유럽연합/지적재산권 법규 준수를 확보하기 위해 등록 및 서명된 액세스 협약을 통한 통제된 액세스 모델을 구현하기 위해.
• 지리적 위치, 인기도(조회수/좋아요 수), 사회적 메타데이터를 포함한 검색 가능하고 버전 관리가 가능한 컬렉션으로 데이터셋을 구성하기 위해.
• SAPIR 프로젝트 내에서 피어 투 피어 인프라를 활용하여 분산 컴퓨팅 자원을 기반으로 처리 파이프라인을 확장하기 위해.

실험 결과

연구 질문

• RQ1 스케일러블한 CBIR 연구를 지원하기 위해 체계적으로 대규모 공개 이미지 테스트 컬렉션을 구축할 수 있는가?
• RQ2 1억 장의 이미지 데이터셋에서 시각적 특징, 인기도, 사회적 메타데이터의 분포가 작은 컬렉션과 비교해 어떻게 다를까?
• RQ3 풍부한 기술자를 포함한 1억 장의 이미지를 크롤링하고 처리하며 저장하는 데 있어 기술적 및 인프라적 과제는 무엇인가?
• RQ4 기존의 CBIR 알고리즘들이 이와 같은 규모의 데이터셋에서 얼마나 효과적으로 평가되고 비교될 수 있는가?
• RQ5 대규모 이미지 테스트 컬렉션에서 저작권 및 라이선스 제약을 효과적으로 관리할 수 있는가?

주요 결과

• CoPhIR은 각 이미지에 대해 MPEG-7 특징을 추출한 최초의 공개 CBIR 테스트 컬렉션으로, 일반적인 벤치마크 데이터셋 대비 두 계단 정도의 증가를 보여줍니다.
• 총 66,532,213장의 이미지(62.77%)가 인기도 메타데이터(조회수 및 좋아요 수)를 포함하고 있으며, 평균 조회수는 41.7회이며, 최고 조회수 기록은 599,584회입니다.
• 8.17%(8,655,289장)의 이미지가 지리적 위치 메타데이터를 포함하고 있어 공간 분석 및 위치 기반 검색 실험을 가능하게 합니다.
• 태그 및 댓글 수가 각각 6개 이상인 이미지는 전체의 1.14%에 불과하여 대부분의 이미지가 최소한의 사회적 메타데이터를 가지고 있음을 시사합니다.
• 이 컬렉션은 전 세계 50개 이상의 연구 그룹에서 액세스를 확보하여 연구 커뮤니티 내에서의 강한 수용성과 유용성을 입증했습니다.
• EGEE 그리드의 활용 덕분에 1억 장의 이미지 컬렉션을 타당한 시간 내에 처리할 수 있었으며, 일반 PC로는 약 12년이 소요될 것으로 예상되는 시간을 피할 수 있었습니다.