[論文レビュー] A Benchmark for Image Retrieval using Distributed Systems over the Internet: BIRDS-I

Neil J. Günther, Giordano B. Beretta|OpenGrey (Institut de l'Information Scientifique et Technique)|Dec 22, 2000

Image Retrieval and Classification Techniques被引用数 11

ひとこと要約

BIRDS-I は、分散型インターネットベースのシステムを想定したコンテンツベース画像検索（CBIR）のクライアント/サーバーベンチマークを提供する。これは、孤立したワークステーションではなく、現実のネットワーク環境におけるパフォーマンスを重視している。スケーラブルで自動化された画像収集のコンパイルを可能にし、最小限の人的介入で画像ランク付けウィンドウを最適化することで、Webベースのアプリケーションにおける大規模かつ多様な画像セットの検索精度を測定する。

ABSTRACT

The performance of CBIR algorithms is usually measured on an isolated workstation. In a real-world environment the algorithms would only constitute a minor component among the many interacting components. The Internet dramati-cally changes many of the usual assumptions about measuring CBIR performance. Any CBIR benchmark should be designed from a networked systems standpoint. These benchmarks typically introduce communication overhead because the real systems they model are distributed applications. We present our implementation of a client/server benchmark called BIRDS-I to measure image retrieval performance over the Internet. It has been designed with the trend toward the use of small personalized wireless systems in mind. Web-based CBIR implies the use of heteroge-neous image sets, imposing certain constraints on how the images are organized and the type of performance metrics applicable. BIRDS-I only requires controlled human intervention for the compilation of the image collection and none for the generation of ground truth in the measurement of retrieval accuracy. Benchmark image collections need to be evolved incrementally toward the storage of millions of images and that scaleup can only be achieved through the use of computer-aided compilation. Finally, our scoring metric introduces a tightly optimized image-ranking window.

研究の動機と目的

• 孤立したワークステーションベースのCBIRベンチマークの限界を解消し、現実の分散型インターネット環境をモデル化すること。
• インターネット上での大規模で多様な画像コレクションをサポートするスケーラブルな画像検索ベンチマークを設計すること。
• グランドトゥース生成における人的介入を最小限に抑え、自動的かつ再現可能なパフォーマンス測定を可能にすること。
• 小型でパーソナライズされた無線デバイスのトレンドに対応するため、低遅延でネットワーク化された画像検索を最適化すること。
• コンピュータ支援コンパイル技術を用いて、数百万枚の画像にまで拡張可能な画像コレクションの段階的進化を可能にすること。

提案手法

• 現実の分散型インターネット上の画像検索をシミュレートするクライアント/サーバー・アーキテクチャを実装すること。
• 画像ランク付けウィンドウをきめ細かく最適化し、検索精度スコアリングの効率を向上させること。
• 画像コレクションのコンパイルにのみ制御された人的入力が必要となるようにベンチマークを設計し、グランドトゥースには不要となるようにすること。
• 大規模な画像コレクションの段階的コンパイルにコンピュータ支援技術を統合すること。
• ネットワーク化システムの原則を適用し、実際の展開で一般的な通信オーバーヘッドとシステム相互作用をモデル化すること。
• 多様でWebベースのマルチメディアシステムに適用可能な標準化されたパフォーマンスメトリクスを用いること。

実験結果

リサーチクエスチョン

• RQ1 孤立したワークステーションではなく、分散型インターネット環境において、CBIRパフォーマンスをどのように意味的に測定できるか？
• RQ2 分散ネットワークにおけるどのようなシステムレベル要因が、画像検索のパフォーマンスと正確性に顕著に影響を与えるか？
• RQ3 グランドトゥース生成をどれほど自動化できるか、大規模で進化を続ける画像コレクションをサポートする観点から。
• RQ4 数百万枚の画像をサポートしつつ、正確性と効率性を維持するには、画像検索ベンチマークをどのようにスケーリングできるか？
• RQ5 ネットワーク通信オーバーヘッドは、現実のCBIRシステムのパフォーマンスにどのような役割を果たすか？

主な発見

• BIRDS-I は、ネットワーク化システムのダイナミクスと通信オーバーヘッドを組み込むことで、現実の分散型画像検索を的確にモデル化した。
• 最小限の人的入力で大規模な画像コレクションの自動コンパイルが可能となり、数百万枚までのスケーラビリティを実現した。
• 最適化された画像ランク付けウィンドウにより、評価のスコアリング効率と正確性が向上した。
• グランドトゥース生成と画像コレクションのコンパイルが分離されたため、人的作業が削減され、再現性が向上した。
• 本ベンチマークは、無線およびパーソナライズされたデバイスのトレンドに対応するよう設計されており、現代の展開環境においても関連性を保った。
• コンピュータ支援コンパイルの使用により、画像コレクションの段階的進化が可能となり、長期的なベンチマーク評価とシステム評価が可能になった。