[論文レビュー] Object detection via a multi-region & semantic segmentation-aware CNN model

Spyros Gidaris, Nikos Komodakis|arXiv (Cornell University)|May 7, 2015

Advanced Neural Network Applications参考文献 34被引用数 34

ひとこと要約

本稿では、区別的な外観モデリングと局所化感受性特徴を組み合わせることで、物体検出のためのマルチリージョンおよびセマンティックセグメンテーション認識CNNを提案する。段階的な提案の改善に深層回帰モデルを用いることで、PASCAL VOC2007で78.2%、PASCAL VOC2012で73.9%の最先端のmAPを達成し、従来の手法を著しく上回った。

ABSTRACT

We propose an object detection system that relies on a multi-region deep convolutional neural network (CNN) that also encodes semantic segmentation-aware features. The resulting CNN-based representation aims at capturing a diverse set of discriminative appearance factors and exhibits localization sensitivity that is essential for accurate object localization. We exploit the above properties of our recognition module by integrating it on an iterative localization mechanism that alternates between scoring a box proposal and refining its location with a deep CNN regression model. Thanks to the efficient use of our modules, we detect objects with very high localization accuracy. On the detection challenges of PASCAL VOC2007 and PASCAL VOC2012 we achieve mAP of 78.2% and 73.9% correspondingly, surpassing any other published work by a significant margin.

研究の動機と目的

• マルチリージョンおよびセマンティックセグメンテーション認識特徴を用いて特徴表現を向上させることで、物体検出の精度を向上させること。
• 多様な外観要因を有する複雑なシーンにおける正確な物体局所化の課題に対処すること。
• 区別的な外観モデリングと局所化感受性を組み合わせた認識モジュールを開発すること。
• 認識モジュールを段階的な局所化メカニズムに統合し、より洗練された物体提案の改善を実現すること。
• PASCAL VOC2007およびVOC2012のような標準ベンチマークで、既存の手法を上回る物体検出性能を達成すること。

提案手法

• 本手法は、物体の複数の空間的リージョンにわたり多様な外観要因を捉えるマルチリージョン深層CNNを採用する。
• 文脈的理解と特徴の区別性を向上させるために、セマンティックセグメンテーション認識特徴を統合する。
• 提案のスコアリングと位置の改善を繰り返す段階的局所化フレームワークに認識モジュールを埋め込む。
• 各段階で深層CNN回帰モデルを用いてバウンディングボックス座標を改善し、局所化精度を向上させる。
• 区別性と局所化感受性の両特徴を活用することで、提案のスコアリングと改善の効率を高める。
• 検出精度と局所化精度の両方を最適化するため、エンドツーエンドでアーキテクチャを学習する。

実験結果

リサーチクエスチョン

• RQ1 標準CNNと比較して、マルチリージョンおよびセマンティックセグメンテーション認識特徴は物体検出性能を向上させるか？
• RQ2 段階的局所化フレームワークに深層回帰モデルを統合すると、局所化精度にどのような影響を与えるか？
• RQ3 区別的な外観要因と局所化感受性は、標準ベンチマークにおけるmAPの向上にどの程度寄与するか？
• RQ4 本手法は、外部データや複雑な後処理に依存せずに、PASCAL VOC2007およびVOC2012で最先端の性能を達成できるか？

主な発見

• 提案手法は、PASCAL VOC2007の物体検出ベンチマークで78.2%の平均平均精度（mAP）を達成し、新たな最先端水準を樹立した。
• PASCAL VOC2012では、mAPが73.9%に達し、これまでに発表されたすべての手法を著しく上回った。
• セマンティックセグメンテーション認識特徴の統合により、特徴の区別性が向上し、局所化感受性が高まった。
• 深層回帰を用いた段階的局所化メカニズムは、単段階手法と比較してより正確なバウンディングボックス予測を実現した。
• マルチリージョン特徴抽出により、複雑な物体外観や空間的変動のモデリングがより良好に可能になった。
• 深層特徴を提案のスコアリングと改善の両方で効率的に活用でき、強力な性能向上に寄与した。