[논문 리뷰] Towards an All-Purpose Content-Based Multimedia Information Retrieval System

Ralph Gasser, Luca Rossetto외 1명|edoc (University of Basel)|2019. 02. 11.

Advanced Image and Video Retrieval Techniques참고 문헌 76인용 수 4

한 줄 요약

이 논문은 이미지, 오디오, 비디오 및 3D 모델을 하나의 확장 가능한 스택 내에서 통합적으로 지원하는 오픈소스의 다목적 콘텐츠 기반 다중미디어 검색 시스템인 vitrivr를 제안한다. ADAM${}_{\textrm{pro}}$를 통한 미디어 전용 특징 추출 및 k-NN 검색 통합을 통해, 예를 들어 예제 기반 검색(Query-by-Example)과 스케치 기반 검색(Query-by-Sketch)과 같은 교차 모odal 유사도 검색을 가능하게 하여 사용자 연구에서 최대 100%의 성공률과 일부 작업에서 MRR 값이 1.0에 이르는 높은 효과성을 입증하였다.

ABSTRACT

The growth of multimedia collections - in terms of size, heterogeneity, and variety of media types - necessitates systems that are able to conjointly deal with several forms of media, especially when it comes to searching for particular objects. However, existing retrieval systems are organized in silos and treat different media types separately. As a consequence, retrieval across media types is either not supported at all or subject to major limitations. In this paper, we present vitrivr, a content-based multimedia information retrieval stack. As opposed to the keyword search approach implemented by most media management systems, vitrivr makes direct use of the object's content to facilitate different types of similarity search, such as Query-by-Example or Query-by-Sketch, for and, most importantly, across different media types - namely, images, audio, videos, and 3D models. Furthermore, we introduce a new web-based user interface that enables easy-to-use, multimodal retrieval from and browsing in mixed media collections. The effectiveness of vitrivr is shown on the basis of a user study that involves different query and media types. To the best of our knowledge, the full vitrivr stack is unique in that it is the first multimedia retrieval system that seamlessly integrates support for four different types of media. As such, it paves the way towards an all-purpose, content-based multimedia information retrieval system.

연구 동기 및 목표

• 대규모이고 이질적인 다중미디어 컬렉션에서 키워드 기반 미디어 검색의 한계를 해결하기 위해.
• 기존의 콘텐츠 기반 검색 시스템이 한 번에 하나의 미디어 유형만 처리하는 고립된 성격을 극복하기 위해.
• 네 가지 미디어 유형 간 교차 모달 유사도 검색을 지원할 수 있는 통합적이고 확장 가능한 다중미디어 검색 스택을 설계하고 구현하기 위해.
• 다양한 쿼리 유형과 미디어 모odal을 포함한 포괄적인 사용자 연구를 통해 시스템의 효과성을 평가하기 위해.
• 다양한 모달 간 새로운 검색 기법을 테스트할 수 있도록 오픈소스 프레임워크를 제공하여 향후 연구의 기반을 마련하기 위해.

제안 방법

• 고차원 벡터 공간에서 효율적인 k-최근접 이웃 검색을 위해 ADAM${}_{\textrm{pro}}$를 통합한다.
• 이미지, 오디오 및 3D 모델을 위한 14개의 새로운 특징 모듈을 Cineast에 추가하여 콘텐츠 기반 색인 및 검색을 가능하게 한다.
• 모든 네 가지 미디어 유형에서 Query-by-Example(QbE) 및 Query-by-Sketch(QbS)를 포함한 다양한 쿼리 모드를 지원한다.
• 미디어 유형에 맞는 특징 추출 기법을 적용한다: 이미지에는 SIFT/VLAD, 오디오에는 크로마/멜로디, 3D 모델에는 구면 조화 함수를 사용한다.
• 혼합된 미디어 컬렉션에서 다중모달 및 상호작용 가능한 검색과 브라우징을 가능하게 하기 위해 웹 기반 사용자 인터페이스를 개발한다.
• 향후 모델 배포 및 실험을 위해 텐서플로우 호환 레이어를 통해 딥러닝 통합을 가능하게 한다.

실험 결과

연구 질문

• RQ1 이미지, 오디오, 비디오 및 3D 모델이라는 네 가지 다른 미디어 유형에 대해 단일 통합 시스템이 콘텐츠 기반 검색을 효과적으로 지원할 수 있는가?
• RQ2 이질적인 다중미디어 컬렉션에 적용된 교차 모달 유사도 검색(예: QbE 및 QbS)의 효과성은 어떠한가?
• RQ3 다른 쿼리 모달리티(예: 스케치 대비 예제 이미지)가 검색 성공률 및 랭킹 품질에 미치는 영향은 어느 정도인가?
• RQ4 색상, 형태, 오디오 크로마, 3D 기하학 등 다양한 특징 유형의 통합이 검색 성능에 어떤 영향을 미치는가?
• RQ5 실제 환경 평가에서 다양한 사용자 작업과 미디어 유형 간에 시스템이 높은 사용성과 효과성을 유지할 수 있는가?

주요 결과

• 3D 모델에 대한 QbE 작업에서 시스템은 100%의 성공률과 MRR 값 1.0을 기록하여 관련 예제가 제공된 경우 완벽한 검색 성능을 보였다.
• 3D 모델 스케치에 대한 QbS 작업에서는 성공률가 69% 및 100%였고, MRR 값은 0.69 및 1.0이었으며, 스케치 기반 검색에서 뛰어난 성능을 보였다.
• 오디오 검색을 위한 QbE에서 성공률는 69%였고, MRR는 0.69였으며, 효과적인 콘텐츠 기반 오디오 검색을 입증하였다.
• 3D 모델에 대한 QbS 작업에서의 p@15 값은 0.26 및 0.34였으며, 약간 관련성이 있는 항목들도 성공적으로 검색된 것으로 나타났고, NDCG@15는 사용자 평가와 양호한 일치를 보였다.
• 시스템 성능은 객체 클래스에 따라 달라졌으며, 이전 연구에서 보고된 바와 같이 구면 조화 함수 특징가 일부 3D 모델 클래스에서 낮은 성능을 보였다.
• 사용자는 QbS 작업을 완료하기 위해 평균 2.8에서 4.5회의 쿼리를 수행했으며, 중간 정도의 상호작용 비용을 보였고, QbE 작업은 더 효율적이며 높은 성공률를 기록하였다.