[論文レビュー] Describing Colors, Textures and Shapes for Content Based Image Retrieval - A Survey

Jamil Ahmad, Muhammad Sajjad+3 more|arXiv (Cornell University)|Feb 25, 2015

Image Retrieval and Classification Techniques参考文献 43被引用数 13

ひとこと要約

このサーベイは、コンテンツベース画像検索（CBIR）における低レベルの視覚的特徴—色、テクスチャ、形状—について、過去10年間におけるその有効性、限界、進化を包括的に分析する。最新の記述子を統合し、性能を比較し、特徴表現と検索精度に関する持続的な課題を特定する。

ABSTRACT

Visual media has always been the most enjoyed way of communication. From the advent of television to the modern day hand held computers, we have witnessed the exponential growth of images around us. Undoubtedly it's a fact that they carry a lot of information in them which needs be utilized in an effective manner. Hence intense need has been felt to efficiently index and store large image collections for effective and on- demand retrieval. For this purpose low-level features extracted from the image contents like color, texture and shape has been used. Content based image retrieval systems employing these features has proven very successful. Image retrieval has promising applications in numerous fields and hence has motivated researchers all over the world. New and improved ways to represent visual content are being developed each day. Tremendous amount of research has been carried out in the last decade. In this paper we will present a detailed overview of some of the powerful color, texture and shape descriptors for content based image retrieval. A comparative analysis will also be carried out for providing an insight into outstanding challenges in this field.

研究の動機と目的

• コンテンツベース画像検索（CBIR）に用いられる色、テクスチャ、形状記述子の体系的レビューを提供すること。
• 画像インデキシングおよび検索における既存の低レベルの視覚的特徴の強みと限界を分析すること。
• 異なる画像データセットにおいて、特徴表現と検索パフォーマンスに関する持続的な課題を特定すること。
• 将来的なCBIR研究を支援するため、記述子技術の比較的評価を提供すること。
• 大規模な画像検索に向けた堅牢な視覚的記述子の開発における、新たな動向と未解決の問題を強調すること。

提案手法

• 2004年から2014年までの間、色、テクスチャ、形状記述子に関する査読付き研究を体系的にレビューした。
• 数学的および統計的モデル（例：ヒストグラムベース、ウェーブレット、モーメントベース、ガボールフィルタ）に基づいて記述子を分類した。
• 色（例：HSV、LUV、カラーモーメント）、テクスチャ（例：LBP、GLCM、ガボール）、形状（例：フーリエ記述子、ゼルニケモーメント、曲率に基づく手法）に分類して記述子を分類した。
• 標準的な評価指標（例：精度、再現率、平均平均適合度（mAP））を用いた記述子性能の比較的分析を行った。
• CBIRシステムにおける記述子選択における主要な設計原則とトレードオフを同定した。
• 研究結果を統合し、視覚的特徴表現の現在の能力とギャップを体系的に要約した。

実験結果

リサーチクエスチョン

• RQ1 どの色記述子がCBIRにおいて最も効果的であり、耐障害性と計算コストの観点からどのように比較されるか？
• RQ2 LBP や GLCM などのテクスチャ記述子は、多様な画像カテゴリや照明条件下でどのように性能を発揮するか？
• RQ3 回転、スケーリング、ノイズに対処する際の形状記述子の強みと限界は何か？
• RQ4 色、テクスチャ、形状特徴を統合する際の主な課題は何か？
• RQ5 過去10年間における記述子設計の進歩はどのように進化し、特徴表現における新たな動向は何か？

主な発見

• 色記述子としてのカラーモーメントやヒストグラムベースの手法は、単純さと低コストであるため、広く使用されている。
• 局所的バイナリパターン（LBP）およびその変種は、照明の変化に対して優れた性能を示し、テクスチャ表現に優れている。
• ゼルニケモーメントやフーリエ記述子などの形状記述子は、回転およびスケーリングに対して良好な不変性を示すが、ノイズへの感受性は依然として課題である。
• 色、テクスチャ、形状特徴を統合したハイブリッド記述子は、一般的に単一特徴アプローチを上回る検索精度を達成する。
• 進歩にもかかわらず、視点の変化、隠蔽、複雑な背景に対する耐障害性を達成する課題は依然として残っている。
• 本サーベイでは、学習ベースおよびディープラーニングに基づく特徴表現への傾向が顕著であると同定したが、伝統的なハンドクラフト記述子は特定の応用分野においても依然として重要性を保っている。