[論文レビュー] Fine-grained visual recognition with salient feature detection

Hui Feng, Shanshan Wang+1 more|arXiv (Cornell University)|Aug 12, 2018

Advanced Neural Network Applications参考文献 14被引用数 4

ひとこと要約

本稿では、部位アノテーションを用いて顕著なオブジェクト部位を検出するとともに、個々の部位から特徴を抽出し、それらを統合することで分類性能を向上させる、細分化視覚認識手法FP-CNNを提案する。CUB200-2011データセットにおいて88.20%の精度を達成し、最先端手法を最大7.2ポイント上回った。

ABSTRACT

Computer vision based fine-grained recognition has received great attention in recent years. Existing works focus on discriminative part localization and feature learning. In this paper, to improve the performance of fine-grained recognition, we try to precisely locate as many salient parts of object as possible at first. Then, we figure out the classification probability that can be obtained by using separate parts for object classification. Finally, through extracting efficient features from each part and combining them, then feeding to a classifier for recognition, an improved accuracy over state-of-art algorithms has been obtained on CUB200-2011 bird dataset.

研究の動機と目的

• 顕著なオブジェクト部位を正確に局所化することで、細分化視覚認識の精度を向上させること。
• 頭部、翼、脚などの個々の部位が分類性能に与える寄与を分析すること。
• 複数の部位からの特徴を統合することで、優れた認識精度を達成する手法を開発すること。
• CUB200-2011ベンチマークにおいて、既存の最先端手法を上回ること。

提案手法

• 部位アノテーションを用いて、ラベル付きの部位画像を生成するように、顕著な部位の検出と局所化を目的とした深層ニューラルネットワークを学習する。
• キーポイントアノテーション（例：くちばし、うなじ、翼）に基づいて、最小限の長方形または正方形のエンvelopeを用いて部位領域を生成する。
• 微調整されたResNet-50モデルを用いて、各検出された部位から特徴を抽出する。
• 複数の部位からの特徴を、分類器（libSVM）を用いて段階的に統合し、性能向上を評価する。
• 最終的なモデルでは、個々の部位の性能に基づいて、頭部、翼、胸の特徴を組み合わせることで最適な認識を実現する。
• 入力画像を224×224にリサイズして、CUB200-2011データセット上で手法を評価する。

実験結果

リサーチクエスチョン

• RQ1 どのオブジェクト部位が細分化分類精度に最も顕著に寄与しているか？
• RQ2 分類に使用する際、個々の部位の性能はどのように比較されるか？
• RQ3 複数の部位からの特徴を段階的に組み合わせることで、全体の認識精度が、全体画像や単一部位を用いる場合を上回るか？
• RQ4 提案手法である顕著部位検出と特徴統合手法は、CUB200-2011で既存の最先端手法を上回るか？

主な発見

• 頭部領域のみで77.02%の分類精度を達成し、他のすべての個別部位を上回り、全体画像認識の性能（78.92%）に近い水準に達している。
• 翼および胸の部位はそれぞれ約50%の精度を示し、中程度のがく別情報として有用であることが示された。
• 脚および尾の部位は、それぞれ31.72%および29.48%の最低の個別精度を示し、分類にほとんどがく別力がないことが示された。
• 頭部、翼、胸からの特徴を段階的に組み合わせた結果、88.23%の最高精度を達成し、すべての部位を組み合わせた場合をわずかに上回った。
• 最終的なFP-CNNモデルは、CUB200-2011テストセットで88.20%の精度を達成し、最高の既存手法（Mask-CNN：87.30%）を0.9ポイント上回った。
• 完全な教師あり学習がなくても、弱教師ありアプローチを上回る4.1〜7.2ポイントの優れた性能を示しており、強力な性能を発揮することが実証された。