[논문 리뷰] The Parallel Distributed Image Search Engine (ParaDISE)

Dimitrios Markonis, Roger Schaer외 2명|arXiv (Cornell University)|2017. 01. 19.

Advanced Image and Video Retrieval Techniques참고 문헌 17인용 수 3

한 줄 요약

ParaDISE는 MapReduce를 통한 확장성 있고 분산 처리 기반으로 시각적 및 텍스트 기반 검색을 결합한 오픈소스의 구성 요소 기반 이미지 검색 시스템이다. 다양한 시각적 특징과 검색 파이프라인의 유연한 평가를 지원하며, SIFT 및 BoVW와 같은 최신 기술적 기술들이 특정 맥락에서 더 복잡한 기술들보다 뛰어난 성능을 보이며 의료 영상 검색에서 뛰어난 성능을 입증한다.

ABSTRACT

Image retrieval is a complex task that differs according to the context and the user requirements in any specific field, for example in a medical environment. Search by text is often not possible or optimal and retrieval by the visual content does not always succeed in modelling high-level concepts that a user is looking for. Modern image retrieval techniques consist of multiple steps and aim to retrieve information from large--scale datasets and not only based on global image appearance but local features and if possible in a connection between visual features and text or semantics. This paper presents the Parallel Distributed Image Search Engine (ParaDISE), an image retrieval system that combines visual search with text--based retrieval and that is available as open source and free of charge. The main design concepts of ParaDISE are flexibility, expandability, scalability and interoperability. These concepts constitute the system, able to be used both in real-world applications and as an image retrieval research platform. Apart from the architecture and the implementation of the system, two use cases are described, an application of ParaDISE in retrieval of images from the medical literature and a visual feature evaluation for medical image retrieval. Future steps include the creation of an open source community that will contribute and expand this platform based on the existing parts.

연구 동기 및 목표

• 콘텐츠 기반 이미지 검색에서의 의미 갭을 해소하기 위해 시각적 및 텍스트 기반 특징을 통합한다.
• 연구 및 실세계 구현에 모두 적합한 유연하고 확장성 있고 확장 가능한 이미지 검색 플랫폼을 설계한다.
• 분산 컴퓨팅 및 현대적 특징 표현 방식을 활용해 대규모 이미지 색인 및 검색을 효율적으로 지원한다.
• 의료 영상 검색 맥락에서 다양한 시각적 기술의 효과성을 평가한다.
• RESTful 웹 서비스와 JSON 기반 데이터 교환을 통해 상호 운용성과 대규모 시스템 내 통합을 가능하게 한다.

제안 방법

• ParaDISE는 이미지 프리프로세서, 특징 추출기, 색인기, 후처리 융합기(Fusor)로 구성된 구성 요소 기반의 플러그인 방식 아키텍처를 사용한다.
• 대규모 이미지 컬렉션에서의 확장성을 위해 병렬 색인 및 검색을 위한 MapReduce 프레임워크를 활용한다.
• SIFT, RootSIFT, CEDD, FCTH, BoVW, VLAD 등의 다양한 시각적 기술을 지원하며, 각 구성 요소의 파라미터 조정이 가능하다.
• 후처리 융합을 통한 텍스트 기반 검색 통합을 통해 다중 모odal 쿼리 처리를 가능하게 한다.
• 데이터 교환을 위해 JSON을 사용하고, 다양한 클라이언트 애플리케이션과의 상호 운용성을 확보하기 위해 RESTful HTTP 인터페이스를 활용한다.
• 메모리 효율성과 대규모 데이터셋에서의 효율적 온라인 검색을 위해 이진 기술을 지원한다.

실험 결과

연구 질문

• RQ1 확장성 있고 분산 처리 기반의 이미지 검색 시스템은 어떻게 시각적 및 텍스트 기반 특징을 효과적으로 융합하여 검색 정확도를 향상시킬 수 있는가?
• RQ2 의료 영상 검색 작업, 특히 소규모 병변 탐지에서 어떤 시각적 기술 표현 방식이 가장 우수한 성능을 보이는가?
• RQ3 구성 요소의 모듈성과 확장성은 연구 및 생산 환경에서의 시스템 적응성에 얼마나 기여하는가?
• RQ4 MapReduce 기반 병렬 색인화는 대규모 이미지 컬렉션의 색인 시간을 크게 단축시킬 수 있는가?
• RQ5 재정의 피드백 및 후처리 융합의 통합은 의료 영상 검색에서 사용자 만족도를 어떻게 향상시키는가?

주요 결과

• 의료 영상 검색 평가에서 SIFT 및 BoVW가 RootSIFT 및 VLAD와 같은 더 고급 기술들보다 뛰어난 성능을 보이며, 작업 맥락에 따라 특징의 적합성이 결정됨을 시사한다.
• CEDD 및 FCTH와 같은 전역 기술들은 지역 기반 기술이 항상 슈퍼리어하다는 가정에 도전하며 경쟁 가능한 성능을 달성했다.
• 방사선의사 대상 실세계 평가에서 시스템은 결과 신뢰성과 재정의 피드백 기능의 사용 용이성 측면에서 높은 사용자 만족도를 보였다.
• MapReduce 기반 병렬 색인화를 통해 대규모 데이터셋의 효율적 처리가 가능했으며, 100,000장 이상의 컬렉션에서도 실시간 검색을 지원했다.
• 구성 요소 기반의 확장 가능한 아키텍처 덕분에 새로운 기술과 검색 파이프라인의 원활한 통합이 가능했으며, 연구 실험과 애플리케이션 배포 모두에 적합했다.
• 이중 라이선스 하에 오픈소스로 제공되어 학술 및 상업적 환경 모두에서의 도입을 촉진한다.