[論文レビュー] Automatic Feature Weight Determination using Indexing and Pseudo-Relevance Feedback for Multi-feature Content-Based Image Retrieval

Asheet Kumar, Shivam Choudhary+3 more|arXiv (Cornell University)|Dec 10, 2018

Image Retrieval and Classification Techniques被引用数 4

ひとこと要約

本稿では、インデクシングおよび仮の関連フィードバックを用いて最適な特徴量重みを自動的に決定する、新規なマルチ特徴量コンテンツベースの画像検索（CBIR）フレームワークを提案する。色、テクスチャ、形状の記述子（CDH、LBP、CLD、EOH）をマルチクラスSVMベースのインデクシングおよび関連比／平均差分技術と組み合わせることで、検索空間を81.25％削減し、優れた検索精度を達成した。組み合わせ特徴量アプローチは、カナダ距離を用いたDataset D3で最高のAUC（0.951）を達成した。

ABSTRACT

Content-based image retrieval (CBIR) is one of the most active research areas in multimedia information retrieval. Given a query image, the task is to search relevant images in a repository. Low level features like color, texture, and shape feature vectors of an image are always considered to be an important attribute in CBIR system. Thus the performance of the CBIR system can be enhanced by combining these feature vectors. In this paper, we propose a novel CBIR framework by applying to index using multiclass SVM and finding the appropriate weights of the individual features automatically using the relevance ratio and mean difference. We have taken four feature descriptors to represent color, texture and shape features. During retrieval, feature vectors of query image are combined, weighted and compared with feature vectors of images in the database to rank order the results. Experiments were performed on four benchmark datasets and performance is compared with existing techniques to validate the superiority of our proposed framework.

研究の動機と目的

• ラベル付き学習データを必要とせずに、マルチ特徴量CBIRにおける最適な特徴量重み割り当てを解決すること。
• 検索空間を制限する画像インデクシングを活用することで、大規模画像検索における計算コストを低減すること。
• 各クエリ画像に対して最も関連性の高い特徴量記述子を自動的に同定することで、検索精度を向上させること。
• 複数の低レベル特徴量（色、テクスチャ、形状）を動的重み付けと組み合わせることで、検索パフォーマンスを向上させるフレームワークを開発すること。
• 提案手法を複数のベンチマークデータセットに対して、最先端の手法と比較して検証すること。

提案手法

• マルチクラスサポートベクターマシン（SVM）を用いて画像インデクシングを行い、上位3つの関連する画像カテゴリを予測することで、検索空間を81.25％削減する。
• 4つの特徴量記述子（色差ヒストグラム（CDH）、局所バイナリパターン（LBP）、共起局所記述子（CLD）、エッジ方向ヒストグラム（EOH））を用い、色、テクスチャ、形状の表現を行う。
• 再現率-リcall曲線におけるパフォーマンスに基づき、関連比および平均差分技術を用いて個々の特徴量の最適重みを自動的に計算する。
• 距離尺度（カナダ距離、カイ二乗距離、ユークリッド距離）を用いて重み付けされた特徴量ベクトルを結合し、データベース内の画像をランク付けする。
• 上位ランクの画像を仮の関連画像として選択することで、反復的に特徴量重み割り当てを改善する仮の関連フィードバックを適用する。
• 各特徴量記述子のAUC（精度-再現率曲線下の面積）を用いて初期重みを正規化し、バランスの取れた初期化を保証する。

実験結果

リサーチクエスチョン

• RQ1 ラベル付き学習データを必要とせずに、マルチ特徴量CBIRシステムにおける特徴量重みをどのように自動的に決定できるか？
• RQ2 マルチクラスSVMを用いた画像インデクシングは、大規模CBIRシステムにおける検索空間をどの程度削減できるか？
• RQ3 色、テクスチャ、形状の記述子（CDH、LBP、CLD、EOH）のどの組み合わせが、多様なデータセットで最高の検索精度を達成するか？
• RQ4 提案された自動重み割り当て手法は、等重み付けまたは固定重み戦略と比較して、精度と再現率の観点でどの程度優れているか？
• RQ5 関連比および平均差分技術は、与えられたクエリ画像に対して最も識別性の高い特徴量記述子を効果的に特定できるか？

主な発見

• 提案手法はマルチクラスSVMベースの画像インデクシングにより、検索空間を81.25％削減し、検索効率を顕著に向上させた。
• 自動重み割り当てを施した組み合わせ特徴量記述子は、カナダ距離を用いたDataset D3で最高のAUC（0.951）を達成した。
• 色差ヒストグラム（CDH）単体ではDataset D1で最高の個別AUC（0.97）を達成したが、組み合わせアプローチは全データセットで全個別特徴量を上回った。
• 関連比に基づく重み割り当て手法は、等重み付けや固定重み戦略と比較して一貫して検索精度を向上させ、カナダ距離を用いた場合に最も高いパフォーマンスを示した。
• 本手法は各クエリ画像に対して最も関連性の高い特徴量記述子を効果的に同定でき、Dataset D2およびD3ではCLDが最も高い重みを獲得した一方、D1ではCDHが優勢であった。
• 平均して、組み合わせ特徴量アプローチは、全データセットおよび距離尺度において、最良の個別特徴量と比較してAUCを8.5％向上させた。