[論文レビュー] Perceptual uniform descriptor and Ranking on manifold: A bridge between image representation and ranking for image retrieval

Shenglan Liu, Jun Wu+5 more|arXiv (Cornell University)|Sep 24, 2016

Image Retrieval and Classification Techniques参考文献 34被引用数 9

ひとこと要約

本稿では、ゲシュタルト心理学を想起させる包括的画像記述子であるPerceptual Uniform Descriptor (PUD)を提案する。PUDは色と勾配方向を統合することで視覚的均一性を向上させる。多様体学習と多様体ランク付けを活用することで、ベンチマークデータセット上での画像検索性能が顕著に向上し、mAPが81.77%、N-Sスコアが3.58に達する。これは、最先端の包括的および局所的記述子を上回る性能を示している。

ABSTRACT

Incompatibility of image descriptor and ranking is always neglected in image retrieval. In this paper, manifold learning and Gestalt psychology theory are involved to solve the incompatibility problem. A new holistic descriptor called Perceptual Uniform Descriptor (PUD) based on Gestalt psychology is proposed, which combines color and gradient direction to imitate the human visual uniformity. PUD features in the same class images distributes on one manifold in most cases because PUD improves the visual uniformity of the traditional descriptors. Thus, we use manifold ranking and PUD to realize image retrieval. Experiments were carried out on five benchmark data sets, and the proposed method can greatly improve the accuracy of image retrieval. Our experimental results in the Ukbench and Corel-1K datasets demonstrated that N-S score reached to 3.58 (HSV 3.4) and mAP to 81.77% (ODBTC 77.9%) respectively by utilizing PUD which has only 280 dimension. The results are higher than other holistic image descriptors (even some local ones) and state-of-the-arts retrieval methods.

研究の動機と目的

• コンテンツベース画像検索における記述子とランク付け手法の不適合性を解消すること。
• 人間の視覚認識を模倣する知覚的均一性を備えた包括的画像記述子を開発すること。
• PUDを多様体ランク付けと統合することで、画像表現とランク付けを統合し、検索性能を向上させること。
• 記述子とランク付けの適合性が検索精度を顕著に向上させることを実証すること。

提案手法

• ゲシュタルト心理学を基盤とし、色と勾配方向を統合した280次元の包括的記述子であるPerceptual Uniform Descriptor (PUD)を提案。これにより、人間の視覚的均一性を反映する。
• 多様体学習（例：LLE）を用いて、PUD特徴が多様体上に凝集していることを可視化・検証し、構造的一致性を示す。
• 多様体ランク付け（MR）を適用し、グラフ行列を通じて関連スコアを伝搬させ、局所的多様体構造を活用してランク付けを実行する。
• 行列Sを用いたグラフベースのランク付けにより、類似サンプル間でクエリの関連性を伝搬させ、ノルムベース手法に比べて精度を向上させる。
• PUDと多様体ランク付けを統合し、表現とランク付けの適合性を保証する包括的な画像検索フレームワークを構築する。
• Ukbench、Corel-1K、Coil-100、Cifar-10といったベンチマークデータセットを用いて、多様な画像分布における性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 ゲシュタルト心理学に基づく包括的画像記述子は、従来の記述子に比べてより優れた知覚的均一性を達成できるか？
• RQ2 PUDと多様体ランク付けの組み合わせは、ノルムベースのランク付けや他の最先端手法を上回る性能を示すか？
• RQ3 記述子とランク付けの適合性が、画像検索精度をどの程度向上させるか？
• RQ4 なぜ多様体ランク付けは、特に空間的および知覚的関係を保持する点でノルムベースのランク付けを上回るのか？

主な発見

• Corel-1KではPUDがmAP 81.77%を達成し、ODTBC（77.9%）や他の包括的記述子を顕著に上回った。
• UkbenchではPUD-MR1がN-Sスコア3.58を記録し、HSV（3.40）やLBP（1.84）を上回り、多様体ランク付けにおける優れた性能を示した。
• Cifar-10ではPUD-MR2が400件の返答における平均精度32.65%を達成し、CNN（29.66%）やPUD-SBML（27.55%）を上回った。
• LLEによる可視化により、PUD特徴はLBP、HSV、MSD、CDHよりもより緊密で均一な多様体を形成することが確認された。
• 多様体ランク付けは、関連性をグラフ構造を通じて伝搬させるため、誤検出を低減でき、ノルムベース手法を上回った。
• PUDと多様体ランク付けの組み合わせは、5つのベンチマークデータセットにおいて優れた性能を示し、記述子とランク付けの適合性の重要性を実証した。