[論文レビュー] Texture and Color-based Image Retrieval Using the Local Extrema Features and Riemannian Distance

Minh‐Tan Pham, Grégoire Mercier+2 more|arXiv (Cornell University)|Nov 7, 2016

Image Retrieval and Classification Techniques参考文献 31被引用数 5

ひとこと要約

本論文は、局所極値に基づく記述子（LED）をキーポoin位置で抽出し、テクスチャと色特徴を統合する新しいコンテンツベース画像検索（CBIR）手法を提案する。画像をLEDの点群としてモデル化し、それらの背後にある多様体間のリーマン距離を計算することで、Vistex、Stex、および色付きBrodatzデータベースで最先端の性能を達成した。

ABSTRACT

A novel efficient method for content-based image retrieval (CBIR) is developed in this paper using both texture and color features. Our motivation is to represent and characterize an input image by a set of local descriptors extracted at characteristic points (i.e. keypoints) within the image. Then, dissimilarity measure between images is calculated based on the geometric distance between the topological feature spaces (i.e. manifolds) formed by the sets of local descriptors generated from these images. In this work, we propose to extract and use the local extrema pixels as our feature points. Then, the so-called local extrema-based descriptor (LED) is generated for each keypoint by integrating all color, spatial as well as gradient information captured by a set of its nearest local extrema. Hence, each image is encoded by a LED feature point cloud and riemannian distances between these point clouds enable us to tackle CBIR. Experiments performed on Vistex, Stex and colored Brodatz texture databases using the proposed approach provide very efficient and competitive results compared to the state-of-the-art methods.

研究の動機と目的

• テクスチャと色特徴を統合することで、より強力な画像表現を実現するコンテンツベース画像検索（CBIR）の向上を図ること。
• 従来の手法がグローバル特徴やより判別力の低い局所記述子に依存するという限界を是正すること。
• 局所記述子の多様体のトポロジーを活用して、特徴空間における幾何的関係をモデル化し、画像類似度を定式化すること。
• 標準的なテクスチャデータベースにおいて、最先端の手法と同等またはそれを上回る性能を示す、効率的で実用的な手法の開発を目的とすること。

提案手法

• 局所極値ピクセルが画像内のキーポイントとして特定され、特徴抽出の基盤を形成する。
• 各キーポイントに対して、その近隣の局所極値からの色、空間的、勾配情報の集約によって、局所極値に基づく記述子（LED）が構築される。
• 各画像は、LEDの点群として表現され、トポロジカルな特徴空間（多様体）を形成する。
• 2つの画像の多様体間のリーマン距離を用いて、画像の不一致度が計算され、非線形的な幾何的関係が捉えられる。
• 特徴空間の内在構造を活用することで、検索精度の向上が図られる。
• 本手法は、大規模な画像検索タスクに適した効率的かつスケーラブルな設計である。

実験結果

リサーチクエスチョン

• RQ1 局所極値に基づく記述子は、画像検索においてテクスチャと色情報を効果的に捉えることができるか？
• RQ2 LEDに基づく多様体間のリーマン距離は、CBIRにおける従来の距離尺度と比べてどのように優れているか？
• RQ3 LED内での色、空間的、勾配の情報の統合は、検索性能をどの程度向上させるか？
• RQ4 本手法は、標準的なテクスチャデータベースにおいて、最先端のCBIR技術と比較してどの程度の性能を示すか？

主な発見

• 提案手法は、Vistex、Stex、および色付きBrodatzテクスチャデータベースで、非常に競争力のある検索性能を達成した。
• LED記述子内での色、空間的、勾配情報の統合により、判別力が向上した。
• LED多様体間のリーマン距離は、従来の距離尺度よりも画像類似度の測定に効果的であることが示された。
• 局所極値をキーポイントとして用いることで、テクスチャが豊富な画像において、強固で意味のある特徴表現が得られた。
• 本手法は、効率性とスケーラビリティを兼ね備えており、実用的なCBIR応用に適していることが示された。
• 実験結果により、本手法が標準ベンチマークにおいて、最先端の手法を上回るか、同等の性能を発揮することが確認された。