[論文レビュー] ProNet: Learning to Propose Object-specific Boxes for Cascaded Neural Networks

Chen Sun, Manohar Paluri+3 more|arXiv (Cornell University)|Nov 12, 2015

Advanced Neural Network Applications参考文献 35被引用数 7

ひとこと要約

ProNetは、画像ラベルからのオブジェクト固有の領域提案を生成するマルチスケール畳み込みネットワークを用いた段階的深層学習フレームワークを提案する。これにより、境界ボックスの教師なしで正確なオブジェクト分類と局所化が可能になる。PASCAL VOC 2012およびMS COCOで最先端の性能を達成しており、段階的または木構造のパイプラインにより、効率的な提案生成と高容量分類器の組み合わせが実現されている。

ABSTRACT

This paper aims to classify and locate objects accurately and efficiently, without using bounding box annotations. It is challenging as objects in the wild could appear at arbitrary locations and in different scales. In this paper, we propose a novel classification architecture ProNet based on convolutional neural networks. It uses computationally efficient neural networks to propose image regions that are likely to contain objects, and applies more powerful but slower networks on the proposed regions. The basic building block is a multi-scale fully-convolutional network which assigns object confidence scores to boxes at different locations and scales. We show that such networks can be trained effectively using image-level annotations, and can be connected into cascades or trees for efficient object classification. ProNet outperforms previous state-of-the-art significantly on PASCAL VOC 2012 and MS COCO datasets for object classification and point-based localization.

研究の動機と目的

• トレーニング時に境界ボックスアノテーションを必要としない正確なオブジェクト分類と局所化の手法を開発すること。
• 画像ラベルのみを用いて、任意の位置とスケールのオブジェクトを検出する課題に対処すること。
• 段階的または木構造の推論により、精度と速度のバランスを取った計算効率の良いフレームワークを設計すること。
• 高信頼度の提案領域の小さなサブセットに強力なCNN（例：VGG-16）を適用し、計算コストを最小限に抑えること。
• 画像ラベルによる単一の監視のみでトレーニングされたマルチスケール畳み込みネットワークが、オブジェクト提案と局所化に有効であることを実証すること。

提案手法

• 画像ラベルを用いてトレーニングされたマルチスケール畳み込みネットワーク（FCN）が、複数の空間的位置とスケールでオブジェクトの信頼度スコアを予測する。
• FCNはスコアマップから高スコアのボックスを特定することで領域提案を生成し、その後のより強力なCNNにクロップして入力する。
• 画像ラベルを用いて、スケールごとのスコアマップのグローバルプーリングにより損失を計算し、オブジェクトレベルのアノテーションなしでエンドツーエンドのトレーニングを可能にする。
• 後続の段階のトレーニングではハードネガティブマイニングを適用し、低信頼度スコア閾値を超える正例提案をランダムにサンプリングすることで過学習を防ぐ。
• チェーン構造と木構造の両方の段階的構造をサポートし、分類の分野に特化した（例：車両、動物）分類により、効率性と精度を向上させる。
• 推論時、1枚の画像あたり上位10〜20個の高スコアボックスのみが後の分類器で処理され、計算コストを低く保つ。

実験結果

リサーチクエスチョン

• RQ1 画像ラベルのみでトレーニングされた完全畳み込みネットワークが、後続の分類に適したオブジェクト固有の領域を効果的に提案できるか？
• RQ2 提案領域に複数のCNNを段階的に適用することで、単一段階モデルと比較して分類・局所化の精度がどのように向上するか？
• RQ3 画像ラベルのみを用いた弱教師ありフレームワークが、完全教師あり検出手法と同等またはそれを上回る性能を達成できるか？
• RQ4 提案ボックスの数の変動に対してフレームワークはどれほど頑健か？強い性能を得るための最小提案数はどの程度か？
• RQ5 関連するオブジェクトカテゴリをグループ化することで、木構造の段階的構造が効率性と精度を向上させられるか？

主な発見

• ProNetは、PASCAL VOC 2012でオブジェクト分類において87.1%のmAPを達成し、従来の弱教師あり手法を上回った。
• PASCAL VOC 2012の検証セットにおいて、ProNetは画像ラベルのみで15.5%のmAPを達成し、以前の弱教師ありアプローチを上回った。
• 1枚あたり平均9個の提案で、ProNetは92.6%のトップ1分類精度を達成し、高い効率性と頑健性を示した。
• 境界ボックスアノテーションを一切使用しないにもかかわらず、RCNNやFast R-CNNよりも分類性能が高く、提案数をはるかに減らしながらFast R-CNNと同等の局所化性能を達成した。
• VGG-16モデルをより多く使用しているにもかかわらず、テスト時の速度がSimonyanらのマルチスケール特徴抽出法の3〜6倍速く、3倍から6倍の高速化を達成した。
• 汎用性が高く、MS COCOでも高い性能を発揮した。これは、小規模かつ隠蔽されたオブジェクトを含む大規模で複雑なデータセットでも有効であることを確認した。