[論文レビュー] Content-Based Image Retrieval Using Multiresolution Analysis Of Shape-Based Classified Images

Ibrahim Elhenawy, Kareem Ahmed|arXiv (Cornell University)|Oct 8, 2016

Image Retrieval and Classification Techniques被引用数 3

ひとこと要約

本論文は、2次元離散ウェーブレット変換（DWT）と形状スケルトン化を用いたマルチスケール解析を通じて、色、テクスチャ、形状特徴を統合する画素ベースの画像検索（CBIR）システムを提案する。RGBチャネル、DWTサブバンド、スケルトン形状からの特徴ベクトルを抽出し、MySQLデータベースに格納することで、10,000枚の画像からなるデータセットにおいて平均96.4％の正しく検索されたレートを達成し、効率的なクエリ応答時間を実現した。

ABSTRACT

Content-Based Image Retrieval (CBIR) systems have been widely used for a wide range of applications such as Art collections, Crime prevention and Intellectual property. In this paper, a novel CBIR system, which utilizes visual contents (color, texture and shape) of an image to retrieve images, is proposed. The proposed system builds three feature vectors and stores them into MySQL database. The first feature vector uses descriptive statistics to describe the distribution of data in each channel of RGB channels of the image. The second feature vector describes the texture using eigenvalues of the 39 sub-bands that are generated after applying four levels 2D DWT in each channel (red, green and blue channels) of the image. These wavelets sub-bands perfectly describes the horizontal, vertical and diagonal edges that exist in the multi-resolution analysis of the image. The third feature vector describes the basic shapes that exist in the skeletonization version of the black and white representation of the image. Experimental results on a private MYSQL database that consists of 10000 images, using color, texture, shape and stored relevance feedbacks, showed 96.4% average correct retrieval rate in an efficient recovery time.

研究の動機と目的

• 色、テクスチャ、形状の複数の視覚的特徴を統合した統一されたシステムにより、画素ベースの画像検索の精度を向上させること。
• RGBチャネルにおける複数のサブバンドにわたる詳細なテクスチャ情報を抽出するために、2次元DWTを用いたマルチスケール解析を活用すること。
• 2値画像表現のスケルトン化を用いて、画像内の支配的形状を分類・表現すること。
• 抽出した特徴をリレーショナルデータベース（MySQL）に格納し、効率的なインデクシングと高速な検索を実現すること。
• 関連性フィードバックと実世界の画像データセットを用いて、システムのパフォーマンスを評価すること。

提案手法

• 各画像の赤、緑、青チャネルから記述統計を用いて色特徴を抽出する。
• 各RGBチャネルに4段階の2次元離散ウェーブレット変換（DWT）を適用し、水平方向、垂直方向、対角線エッジ情報を捉える39のサブバンドを生成する。
• 39のDWTサブバンドからの固有値を計算し、マルチスケールフレームワークにおけるテクスチャ特徴を表現する。
• 画像を2値化し、スケルトン化して支配的形状を検出し、形状ベースの特徴ベクトルに符号化する。
• 色、テクスチャ、形状の3つの異なる特徴ベクトルを統合し、インデクシングと検索用にMySQLデータベースに格納する。
• 反復的な検索結果の最適化を図るために、関連性フィードバックを統合する。

実験結果

リサーチクエスチョン

• RQ1 2次元DWTによるマルチスケールテクスチャ表現は、CBIRシステムにおけるテクスチャの識別性を向上させることができるか？
• RQ2 形状スケルトン化は、画像検索に適した支配的形状を効果的に捉え、表現できるか？
• RQ3 色、テクスチャ、形状特徴を統合することで、大規模な画像データベースにおける検索精度にどのような影響を与えるか？
• RQ4 関連性フィードバックの統合は、この特徴ベースのシステムにおける検索パフォーマンスにどのような影響を与えるか？
• RQ5 リレーショナルデータベースは、リアルタイムのCBIRアプリケーションに適した複雑な視覚的特徴ベクトルを効率的に格納・検索できるか？

主な発見

• 提案されたCBIRシステムは、10,000枚の画像からなるプライベートデータベースにおいて、平均96.4％の正しく検索されたレートを達成した。
• 色、テクスチャ、形状特徴の統合により、単一特徴アプローチと比較して、検索精度が顕著に向上した。
• マルチスケールDWT解析により、各RGBチャネルにおける複数スケールのエッジおよびテクスチャ特性を効果的に捉えることができた。
• スケルトン化による形状表現により、画像内の基本的な幾何学的形状の強固な同定が可能になった。
• システムは短時間での回復を示し、大規模な画像コレクションへのスケーラビリティを示した。
• 関連性フィードバックの統合により、ユーザーのフィードバックに基づいてクエリ結果を最適化することで、検索の正確性がさらに向上した。