[论文解读] A Benchmark for Image Retrieval using Distributed Systems over the Internet: BIRDS-I

Neil J. Günther, Giordano B. Beretta|OpenGrey (Institut de l'Information Scientifique et Technique)|Dec 22, 2000

Image Retrieval and Classification Techniques被引用 11

一句话总结

BIRDS-I 引入了一项面向基于内容的图像检索（CBIR）的客户端/服务器基准测试，专为分布式、基于互联网的系统设计，强调真实网络环境下的性能表现，而非孤立工作站上的表现。它支持可扩展的、自动化的图像集合编译，并使用经过优化的图像排序窗口来最小化人工干预，以测量检索准确性，适用于基于网络的大规模异构图像集合应用。

ABSTRACT

The performance of CBIR algorithms is usually measured on an isolated workstation. In a real-world environment the algorithms would only constitute a minor component among the many interacting components. The Internet dramati-cally changes many of the usual assumptions about measuring CBIR performance. Any CBIR benchmark should be designed from a networked systems standpoint. These benchmarks typically introduce communication overhead because the real systems they model are distributed applications. We present our implementation of a client/server benchmark called BIRDS-I to measure image retrieval performance over the Internet. It has been designed with the trend toward the use of small personalized wireless systems in mind. Web-based CBIR implies the use of heteroge-neous image sets, imposing certain constraints on how the images are organized and the type of performance metrics applicable. BIRDS-I only requires controlled human intervention for the compilation of the image collection and none for the generation of ground truth in the measurement of retrieval accuracy. Benchmark image collections need to be evolved incrementally toward the storage of millions of images and that scaleup can only be achieved through the use of computer-aided compilation. Finally, our scoring metric introduces a tightly optimized image-ranking window.

研究动机与目标

• 通过模拟真实世界中的分布式互联网环境，解决基于孤立工作站的CBIR基准测试的局限性。
• 设计一个可扩展的图像检索基准，支持通过互联网进行大规模、异构的图像集合检索。
• 最小化人工干预在真实标签生成中的参与，实现自动化且可重复的性能测量。
• 通过优化低延迟、网络化的图像检索，支持小型个性化无线设备的发展趋势。
• 通过计算机辅助编译技术，实现图像集合向数百万张图像的增量式演化。

提出的方法

• 实现客户端/服务器架构，以模拟互联网上真实的分布式图像检索过程。
• 使用高度优化的图像排序窗口，以提高检索准确率评分的效率。
• 设计基准测试，仅需受控的人工输入用于图像集合编译，而非真实标签生成。
• 集成计算机辅助技术，实现大规模图像集合的增量式编译。
• 应用网络化系统原理，模拟真实部署中典型的通信开销和系统交互。
• 采用适用于异构、基于网络的多媒体系统的标准化性能指标。

实验结果

研究问题

• RQ1 如何在分布式、基于互联网的环境中有意义地衡量CBIR性能，而非在孤立的工作站上？
• RQ2 在分布式网络中，哪些系统级因素显著影响图像检索的性能和准确性？
• RQ3 在支持大规模、持续演化的图像集合时，真实标签生成在多大程度上可以实现自动化？
• RQ4 图像检索基准如何扩展以支持数百万张图像，同时保持准确性和效率？
• RQ5 网络通信开销在真实世界CBIR系统性能中扮演何种角色？

主要发现

• BIRDS-I 通过整合网络化系统动态和通信开销，成功模拟了真实世界中的分布式图像检索。
• 该基准测试支持大规模图像集合的自动化编译，人工输入极少，可扩展至数百万张图像。
• 经过优化的图像排序窗口提升了检索评估中的评分效率和准确性。
• 真实标签生成与图像集合编译解耦，减少了人工工作量，提高了可重复性。
• 该基准测试设计用于支持无线和个性化设备的新兴趋势，确保与现代部署环境的相关性。
• 通过使用计算机辅助编译，实现了图像集合的增量式演化，支持长期基准测试和系统评估。