[論文レビュー] Local Color Contrastive Descriptor for Image Classification

Sheng Guo, Weilin Huang+1 more|arXiv (Cornell University)|Aug 3, 2015

Advanced Image and Video Retrieval Techniques参考文献 38被引用数 3

ひとこと要約

本稿では、局所的画像記述子であるLocal Color Contrastive Descriptor (LCCD) を提案する。LCCDは、複数の色チャネルにおける空間的に隣接する領域間の色分布のf-発散度を用いて、色の対比情報を統合することでSIFTを強化する。LCCDはSIFTの性能を顕著に向上させ、PASCAL VOC 2007で65.80%の最先端の精度を達成し、SUN397ではDeCAFの精度を40.94%から49.68%まで向上させた。

ABSTRACT

Image representation and classification are two fundamental tasks towards multimedia content retrieval and understanding. The idea that shape and texture information (e.g. edge or orientation) are the key features for visual representation is ingrained and dominated in current multimedia and computer vision communities. A number of low-level features have been proposed by computing local gradients (e.g. SIFT, LBP and HOG), and have achieved great successes on numerous multimedia applications. In this paper, we present a simple yet efficient local descriptor for image classification, referred as Local Color Contrastive Descriptor (LCCD), by leveraging the neural mechanisms of color contrast. The idea originates from the observation in neural science that color and shape information are linked inextricably in visual cortical processing. The color contrast yields key information for visual color perception and provides strong linkage between color and shape. We propose a novel contrastive mechanism to compute the color contrast in both spatial location and multiple channels. The color contrast is computed by measuring \emph{f}-divergence between the color distributions of two regions. Our descriptor enriches local image representation with both color and contrast information. We verified experimentally that it can compensate strongly for the shape based descriptor (e.g. SIFT), while keeping computationally simple. Extensive experimental results on image classification show that our descriptor improves the performance of SIFT substantially by combinations, and achieves the state-of-the-art performance on three challenging benchmark datasets. It improves recent Deep Learning model (DeCAF) [1] largely from the accuracy of 40.94% to 49.68% in the large scale SUN397 database. Codes for the LCCD will be available.

研究の動機と目的

• SIFTのような形状中心の記述子の限界を克服するため、画像表現の向上に寄与する堅牢な色対比情報を統合すること。
• 光度変化に対して不変であり、空間的構造に敏感な方法で局所的な色対比を捉える手法を開発すること。
• 視覚認識の神経機構に由来する色対比が、SIFTのような勾配ベースの特徴と効果的に補完できることを示すこと。
• LCCDとSIFTを組み合わせることで、ベンチマーク画像分類データセットにおいて最先端の性能を達成すること。
• 高レベル特徴が局所的詳細を失う可能性がある状況においても、計算効率的かつ強力なディープラーニングモデルの代替手段としての局所的画像表現を提供すること。

提案手法

• f-発散度を用いて、空間的に隣接する2つの画像領域間の色対比を計算し、それらの色分布の統計的差をモデル化する。
• RGBなどの複数の色チャネルにわたり対比メカニズムを適用することで、識別力の向上と照度変化へのロバストネスを強化する。
• 局所的な空間的近傍領域を用いて領域ベースの色対比を計算することで、空間的局所性を保持し、単一ピクセル処理によるノイズへの感受性を低減する。
• LCCD記述子とSIFTを特徴連結とFisher Vector (FV)符号化を用いて統合し、分類性能の向上を図る。
• 色特徴を独立に扱うのではなく、隣接領域間の関係を明示的にモデル化する対比メカニズムを採用する。
• 標準の評価プロトコルに従い、FV符号化と交差検証を用いて、PASCAL VOC 2007およびSUN397といった標準ベンチマークで手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 生物学的視覚処理に由来する色対比を、形状ベースの特徴を改善するための局所的画像記述子として効果的にモデル化できるか？
• RQ2 f-発散度に基づく色対比計算は、従来の色ヒストグラムやSIFTベースの色記述子と比較して、ロバストネスおよび識別力の面でどのように優れているか？
• RQ3 LCCDがSIFTをどれほど効果的に補完し、多様で困難なデータセットにおける画像分類精度を向上させられるか？
• RQ4 同じグローバル構造を示すが、局所的な色パターンが異なるシーンカテゴリの曖昧性を、色対比情報の統合が解消できるか？
• RQ5 シンプルでディープラーニングでない記述子LCCDが、DeCAFのような最近のディープラーニングモデルを精度および局所的特徴の識別力の面で上回るか、または顕著に改善できるか？

主な発見

• LCCD+SIFTの組み合わせは、PASCAL VOC 2007ベンチマークで65.80%という最先端の精度を達成し、個別のSIFTよりも4%高く、LCS+SIFTのような先行手法よりも顕著な優位性を示した。
• SUN397データセットでは、LCCD+SIFTがDeCAFの精度を40.94%から49.68%まで向上させ、高度なディープラーニングモデルに対しても強力な補完的パワーを示した。
• LCCDは、SIFT単体では困難な曖昧なカテゴリ（例：'swimming pool outdoor' や 'thrift shop'）において顕著な性能向上を達成した。
• 特に『swimming pool outdoor』のような困難なカテゴリでは分類精度が最大30%向上し、『thrift shop』では20%向上した。これは、LCCDが微細な局所的色の違いを捉える能力を示している。
• LCCDは、従来の色強化記述子（例：Color SIFT（42.00% mAP）や LCS+SIFT（63.90% mAP））を上回り、空間的および色彩的対比のモデリングが優れていることを確認した。
• 視覚的曖昧性の高いカテゴリにおいて、局所的色対比がSIFTが見逃す重要な識別的手がかりを提供するため、性能向上が顕著に現れた。