[論文レビュー] CoPhIR: a Test Collection for Content-Based Image Retrieval

Paolo Bolettieri, Andrea Esuli+5 more|ArXiv.org|May 28, 2009

Image Retrieval and Classification Techniques参考文献 5被引用数 153

ひとこと要約

CoPhIR は、Flickr のウェブクローリングと EGEE GRID 上での分散処理により作成された、1億枚の画像と抽出された MPEG-7 視覚特徴を備えた大規模で公開可能なテストデータセットである。これは、ウェブスケールでの類似検索のベンチマークに用いるための、大規模で現実的なデータセットが不足しているという課題に応えるものであり、コンテンツベース画像検索（CBIR）手法のスケーラブルな評価を可能にする。

ABSTRACT

The scalability, as well as the effectiveness, of the different Content-based Image Retrieval (CBIR) approaches proposed in literature, is today an important research issue. Given the wealth of images on the Web, CBIR systems must in fact leap towards Web-scale datasets. In this paper, we report on our experience in building a test collection of 100 million images, with the corresponding descriptive features, to be used in experimenting new scalable techniques for similarity searching, and comparing their results. In the context of the SAPIR (Search on Audio-visual content using Peer-to-peer Information Retrieval) European project, we had to experiment our distributed similarity searching technology on a realistic data set. Therefore, since no large-scale collection was available for research purposes, we had to tackle the non-trivial process of image crawling and descriptive feature extraction (we used five MPEG-7 features) using the European EGEE computer GRID. The result of this effort is CoPhIR, the first CBIR test collection of such scale. CoPhIR is now open to the research community for experiments and comparisons, and access to the collection was already granted to more than 50 research groups worldwide.

研究の動機と目的

• スケーラブルなコンテンツベース画像検索（CBIR）手法を評価するための、大規模で公開可能な画像テストデータセットが不足しているという課題に対処する。
• 1億枚の画像からなる現実的なデータセットを提供することで、ウェブスケールでの分散類似検索に関する研究を可能にする。
• 従来の CBIR データセットが通常数千枚程度であるのに対し、2桁のスケールアップを実現することで、その限界を克服する。
• Flickr のクリエイティブコモンズ条項を尊重し、アクセス制御を実装することで、著作権およびライセンス規約への準拠を確保する。
• ユーザーが提供したタグ、コメント、人気度メタデータを保持することで、テキスト・ビジュアルのハイブリッド検索実験を支援する。

提案手法

• 信頼できる長期的リポジトリとしての Flickr から、高品質で多様な画像を含む公開画像をクローリングして、高品質な画像を入手する。
• EGEE GRID 上での分散処理を用いて、各画像に対して5つの標準化された MPEG-7 視覚記述子（色、テクスチャ、形状）を抽出する。
• 画像メタデータ、記述子、オリジナルの Flickr エントリへのリンクを構造化された XML ファイルに格納し、効率的なアクセスと再現可能性を確保する。
• クリエイティブコモンズおよび EU/知的財産法への準拠を確保するため、登録と署名済みアクセス契約を介した制御されたアクセスモデルを実装する。
• 地理的位置、人気度（閲覧数／お気に入り数）、ソーシャルメタデータを含む、検索可能でバージョン管理されたコレクションとしてデータセットを整理する。
• SAPIR プロジェクト内でのピアツーピアインフラを活用し、分散コンピューティングリソースにわたる処理パイプラインをスケーリングする。

実験結果

リサーチクエスチョン

• RQ1 スケーラブルな CBIR リサーチを支援するため、1億枚の画像を含む大規模で公開可能なテストデータセットを体系的に構築することは可能か？
• RQ2 1億枚の画像を含むデータセットにおける視覚的特徴、人気度、ソーシャルメタデータの分布は、小規模なコレクションと比べてどのように異なるか？
• RQ3 豊富な記述子を備えた1億枚の画像のクローリング、処理、保存において、技術的およびインfra構築上の課題は何か？
• RQ4 この規模のデータセット上で、既存の CBIR アルゴリズムをどの程度評価・比較できるか？
• RQ5 大規模な画像テストデータセットにおいて、著作権およびライセンス制約を効果的に管理するにはどうすればよいか？

主な発見

• CoPhIR は、1億枚の画像を含み、それぞれに MPEG-7 特徴が抽出された、初めての公開可能な CBIR テストデータセットであり、一般的なベンチマークデータセットと比較して2桁のスケールアップがなされている。
• 66,532,213 枚（62.77％）の画像に人気度メタデータ（閲覧数とお気に入り数）が含まれており、1枚あたり平均41.7回の閲覧数、最高で599,584回の閲覧数を記録した画像も存在する。
• 8.17％（8,655,289 枚）の画像に地理的位置メタデータが含まれており、空間的分析や位置に依存するリtrieval 実験が可能である。
• 1.14％の画像（約11万枚）に6つ以上のコメントと6つ以上のタグが付与されており、大多数の画像が最小限のソーシャルメタデータを有していることが示された。
• 本コレクションは、世界中の50以上の研究グループにアクセスが許可されており、研究コミュニティにおける広範な採用と実用性を示している。
• EGEE GRID の活用により、1億枚の画像データセットの処理を現実的な時間内に完了でき、標準PCでは12年かかると予想される期間を大幅に短縮した。