[論文レビュー] HyperNet: Towards Accurate Region Proposal Generation and Joint Object Detection

Tao Kong, Anbang Yao+2 more|arXiv (Cornell University)|Apr 3, 2016

Advanced Neural Network Applications被引用数 139

ひとこと要約

HyperNet は階層的 CNN 特徴を Hyper Feature に統合して region proposals と物体検出を同時学習し、約100件の proposals で高いリコールを達成し、VOC2007/2012 で最先端の mAP、リアルタイム性の可能性。

ABSTRACT

Almost all of the current top-performing object detection networks employ region proposals to guide the search for object instances. State-of-the-art region proposal methods usually need several thousand proposals to get high recall, thus hurting the detection efficiency. Although the latest Region Proposal Network method gets promising detection accuracy with several hundred proposals, it still struggles in small-size object detection and precise localization (e.g., large IoU thresholds), mainly due to the coarseness of its feature maps. In this paper, we present a deep hierarchical network, namely HyperNet, for handling region proposal generation and object detection jointly. Our HyperNet is primarily based on an elaborately designed Hyper Feature which aggregates hierarchical feature maps first and then compresses them into a uniform space. The Hyper Features well incorporate deep but highly semantic, intermediate but really complementary, and shallow but naturally high-resolution features of the image, thus enabling us to construct HyperNet by sharing them both in generating proposals and detecting objects via an end-to-end joint training strategy. For the deep VGG16 model, our method achieves completely leading recall and state-of-the-art object detection accuracy on PASCAL VOC 2007 and 2012 using only 100 proposals per image. It runs with a speed of 5 fps (including all steps) on a GPU, thus having the potential for real-time processing.

研究の動機と目的

• 提案数を減らしつつ高いリコールを維持する動機付け。
• region proposal generation と object detecion を同時に最適化する統一ネットワークの開発。
• 小 object の局在化と位置精度を改善するために多階層 CNN 特徴を活用。
• リアルタイムまたは大規模展開に適した効率的な訓練・推論フレームワークの提案。

提案手法

• 複数層からの階層 CNN 特徴マップを集約・圧縮して一様空間に統合して Hyper Feature を作成。
• ROI プーリングと境界ボックス回帰を用い、画像あたり約100提案を出力する軽量な region proposal network を設計。
• Hyper Feature を共有する検出ネットワークを実装し、FC の前に強化された Conv 層を使用し、NMS を用いたクラス別境界ボックス回帰を実行。
• 6 段階の訓練手順を通じて提案モジュールと検出モジュールを jointly 訓練し、統一された HyperNet を形成。
• 層の順序を変更して特徴次元を削減し分類器を簡素化することで提案と検出段階を高速化。

実験結果

リサーチクエスチョン

• RQ1 HyperNet は IoU 関連の閾値を跨いで約100件程度の提案で高いリコールを達成できるか？
• RQ2 深部・中間・浅部の CNN 特徴を統合した Hyper Feature は、提案品質と検出精度の両方を特に小さな物体で改善するか？
• RQ3 提案生成と物体検出の共同訓練は、段階的訓練と比較して全体の性能にどのような影響を与えるか？
• RQ4 HyperNet の実行時特性はどうか；精度を損なうことなくリアルタイムに近づけることができるか？

主な発見

• HyperNet は PASCAL VOC 2007 で IoU 0.5 における 50 提案で 95% リコール、100 提案で 97% リコールを達成。
• VOC 2007 で HyperNet は 76.3% mAP を達成し、IoU 0.5 の下で Fast R-CNN を 6.3 ポイント、Faster R-CNN を 3.1 ポイント上回った。
• VOC 2012 で HyperNet は 71.4% mAP（comp4 トラックのトップ結果）を達成し、いくつかのベースラインを上回った。
• 高速化版（HyperNet-SP）は、強い精度を維持しつつ GPU ハードウェアで約 5 fps の速度を達成。
• アーキテクチャの Hyper Feature は、適切な解像度で複数レベルの特徴を組み合わせることにより、局在化と小物体検出を改善（例：ボトル、植物）。