[논문 리뷰] A Benchmark for Image Retrieval using Distributed Systems over the Internet: BIRDS-I

Neil J. Günther, Giordano B. Beretta|OpenGrey (Institut de l'Information Scientifique et Technique)|2000. 12. 22.

Image Retrieval and Classification Techniques인용 수 11

한 줄 요약

BIRDS-I는 분산형 인터넷 기반 시스템을 고려한 콘텐츠 기반 이미지 검색(CBIR)을 위한 클라이언트/서버 벤치마크를 제안한다. 이는 고립된 워크스테이션 대신 실제 네트워크 환경에서의 성능을 중시한다. 스케일러블하고 자동화된 이미지 컬렉션 컴iles션을 가능하게 하며, 최적화된 이미지 랭킹 윈도우를 사용해 인간 간섭을 최소화하고 검색 정확도를 측정한다. 이는 웹 기반 애플리케이션에서 대규모 이질적 이미지 세트를 지원한다.

ABSTRACT

The performance of CBIR algorithms is usually measured on an isolated workstation. In a real-world environment the algorithms would only constitute a minor component among the many interacting components. The Internet dramati-cally changes many of the usual assumptions about measuring CBIR performance. Any CBIR benchmark should be designed from a networked systems standpoint. These benchmarks typically introduce communication overhead because the real systems they model are distributed applications. We present our implementation of a client/server benchmark called BIRDS-I to measure image retrieval performance over the Internet. It has been designed with the trend toward the use of small personalized wireless systems in mind. Web-based CBIR implies the use of heteroge-neous image sets, imposing certain constraints on how the images are organized and the type of performance metrics applicable. BIRDS-I only requires controlled human intervention for the compilation of the image collection and none for the generation of ground truth in the measurement of retrieval accuracy. Benchmark image collections need to be evolved incrementally toward the storage of millions of images and that scaleup can only be achieved through the use of computer-aided compilation. Finally, our scoring metric introduces a tightly optimized image-ranking window.

연구 동기 및 목표

• 고립된 워크스테이션 기반 CBIR 벤치마크의 한계를 해결하기 위해 실제 분산형 인터넷 환경을 모델링한다.
• 인터넷 기반에서 대규모 이질적 이미지 컬렉션을 지원하는 확장 가능한 이미지 검색 벤치마크를 설계한다.
• 지상 진술(ground truth) 생성 시 인간 간섭을 최소화하여 자동화되고 반복 가능한 성능 측정을 가능하게 한다.
• 작고 개인화된 무선 기기의 추세를 반영하기 위해 저지연, 네트워크 기반 이미지 검색을 최적화한다.
• 컴퓨터 지원 컴파일 기법을 활용해 수백만 개의 이미지로 향한 이미지 컬렉션의 점진적 발전을 가능하게 한다.

제안 방법

• 실제 인터넷 기반 분산 이미지 검색을 시뮬레이션하기 위해 클라이언트/서버 아키텍처를 구현한다.
• 검색 정확도 평가의 효율성을 향상시키기 위해 밀도 높은 최적화된 이미지 랭킹 윈도우를 사용한다.
• 이미지 컬렉션 컴파일에만 통제된 인간 입력이 필요하도록 벤치마크를 설계하며, 지상 진술에는 필요로 하지 않는다.
• 대규모 이미지 컬렉션의 점진적 컴파일을 위한 컴퓨터 지원 기법을 통합한다.
• 실제 구현 환경에서 흔히 발생하는 통신 오버헤드와 시스템 상호작용을 모델링하기 위해 네트워크 기반 시스템 원리를 적용한다.
• 이질적 웹 기반 멀티미디어 시스템에 적용 가능한 표준화된 성능 메트릭을 사용한다.

실험 결과

연구 질문

• RQ1 어떻게 분산형 인터넷 기반 환경에서 고립된 워크스테이션 대비 의미 있는 CBIR 성능을 측정할 수 있는가?
• RQ2 분산 네트워크에서 이미지 검색 성능과 정확도에 크게 영향을 주는 시스템 수준의 요소는 무엇인가?
• RQ3 지상 진술 생성을 얼마나 자동화할 수 있으며, 이는 대규모로 변화하는 이미지 컬렉션을 지원하는 데 얼마나 기여하는가?
• RQ4 어떻게 하면 수백만 개의 이미지를 지원하면서도 정확도와 효율성을 유지할 수 있는가?
• RQ5 네트워크 통신 오버헤드는 실제 CBIR 시스템 성능에 어떤 역할을 하는가?

주요 결과

• BIRDS-I는 네트워크 기반 시스템의 동적 특성과 통신 오버헤드를 통합함으로써 실제 분산 이미지 검색 환경을 성공적으로 모델링한다.
• 벤치마크는 인간 간섭을 최소화하고 대규모 이미지 컬렉션의 자동 컴파일을 가능하게 하여 수백만 개의 이미지까지의 확장성을 지원한다.
• 최적화된 이미지 랭킹 윈도우는 평가 시 정확도와 효율성을 향상시킨다.
• 지상 진술 생성이 이미지 컬렉션 컴파일에서 분리되어 있어 수동 작업이 감소하고 재현 가능성이 향상된다.
• 벤치마크는 무선 및 개인화된 기기의 추세를 반영하여 현대적 구현 환경에 적합함을 보장한다.
• 컴퓨터 지원 컴파일 기법의 사용은 이미지 컬렉션의 점진적 발전을 가능하게 하여 장기적인 벤치마크 및 시스템 평가를 가능하게 한다.