[論文レビュー] Fine-grained Categorization -- Short Summary of our Entry for the ImageNet Challenge 2012

C. R. Goring, Alexander Freytag+2 more|arXiv (Cornell University)|Oct 17, 2013

Advanced Image and Video Retrieval Techniques参考文献 17被引用数 3

ひとこと要約

この論文は、ImageNet 2012 Challenge向けに、グラフベースのセグメンテーション、シンプルなHoughベースの頭部検出器、およびマルチフェイチャーフュージョン（SIFT、色名、LBP）を組み合わせた、細分化されたイヌ品種分類システムを提示する。この手法はテストセットで24.59%の平均平均精度（mAP）を達成し、クラス内変動が著しいタスクにおいて、部位ベースの特徴量と特徴量の統合が性能向上に顕著に寄与することを示している。

ABSTRACT

In this paper, we tackle the problem of visual categorization of dog breeds, which is a surprisingly challenging task due to simultaneously present low interclass distances and high intra-class variances. Our approach combines several techniques well known in our community but often not utilized for fine-grained recognition: (1) automatic segmentation, (2) efficient part detection, and (3) combination of multiple features. In particular, we demonstrate that a simple head detector embedded in an off-the-shelf recognition pipeline can improve recognition accuracy quite significantly, highlighting the importance of part features for fine-grained recognition tasks. Using our approach, we achieved a 24.59% mean average precision performance on the Stanford dog dataset.

研究の動機と目的

• クラス内変動が大きく、クラス間距離が小さいイヌ品種における細分化視覚分類の課題に対処する。
• 標準的な認識パイプラインに部位ベースの特徴量を統合することで、認識精度を向上させる。
• 形状、色、テクスチャといった複数の低レベル特徴量の組み合わせが、細分化分類タスクに与える効果を実証する。
• 線形SVMとカーネル近似を用いて、大規模データセットに適した計算効率の高いシステムを構築する。
• 背景除去と局所化された特徴抽出が分類性能に与える影響を調査する。

提案手法

• 前景のイヌをセグメンテーションし、背景のゴミを除去するために、バウンディングボックスの事前情報を用いたGrabCutを適用した。
• ヘッド検出器としてHough円変換ベースの手法を開発し、イヌの顔を局所化することで、部位特徴量の抽出を可能にした。
• 1000語の語彙を用いたSIFT記述子を全画像から、500語の語彙を用いたSIFT記述子を検出された頭部領域から抽出した。
• 5段階の空間ピラミッドを用いた色名ヒストグラムと、スケール1, 2, 4、3段階の空間ピラミッドを用いた局所的バイナリパターン（LBP）を統合した。
• すべての特徴量を連結して特徴量統合を行い、χ²カーネルを近似するための均一なカーネル近似を用いた線形SVMで分類した。
• 高速な学習と推論を実現するためにliblinearを用い、カーネルマップにはC=10、γ=0.5を設定した。

実験結果

リサーチクエスチョン

• RQ1 シンプルで市販のヘッド検出器は、細分化されたイヌ品種分類の精度を顕著に向上させることができるか？
• RQ2 SIFT、色、LBPといった複数の特徴タイプを組み合わせることで、細分化認識タスクの性能はどの程度向上するか？
• RQ3 バウンディングボックスの事前情報付きのGrabCutによる背景除去は、ノイズ低減と分類精度向上にどの程度効果的か？
• RQ4 部位ベースの特徴量（例：頭部領域からの特徴量）を含めることで、グローバル特徴量のみに比べて顕著な性能向上が得られるか？
• RQ5 カーネル近似を用いた線形分類器は、大規模な細分化データセットにおいて競争力のある性能を達成できるか？

主な発見

• 全特徴量の組み合わせは、検証セットで0.2524の平均平均精度（mAP）、テストセットで0.2459のmAPを達成した。
• 頭部領域からのSIFT記述子のみでも0.0729のmAPを寄与し、部位ベースの特徴量が価値があることを示した。
• SIFTとスケール4のLBPの組み合わせは0.2153のmAPを達成し、テクスチャ特徴量が識別性を向上させることを示した。
• SIFTと組み合わせた色名特徴量の追加により、mAPは0.2090から0.2141に向上し、その追加的利点を確認した。
• 誤り行列から、最も頻繁に混同された品種（例：AppenzellerとBernese Mountain Dog）は外見が非常に似ており、データセットの難易度を裏付けた。
• 強力な性能を示したが、グレートデーンやアイルランドテリアなど、クラス内変動が著しい品種では依然として困難を示しており、さらなる改善の余地があることを示した。