[論文レビュー] Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks

Shaoqing Ren, Kaiming He+2 more|arXiv (Cornell University)|Jun 4, 2015

Advanced Neural Network Applications参考文献 22被引用数 18,219

ひとこと要約

Faster R-CNN は Region Proposal Networks (RPNs) を導入し、検出ネットワークと全画像の畳み込み特徴を共有して高品質な領域提案を生成し、統合ネットワークでの高速かつ正確な物体検出を実現します。

ABSTRACT

State-of-the-art object detection networks depend on region proposal algorithms to hypothesize object locations. Advances like SPPnet and Fast R-CNN have reduced the running time of these detection networks, exposing region proposal computation as a bottleneck. In this work, we introduce a Region Proposal Network (RPN) that shares full-image convolutional features with the detection network, thus enabling nearly cost-free region proposals. An RPN is a fully convolutional network that simultaneously predicts object bounds and objectness scores at each position. The RPN is trained end-to-end to generate high-quality region proposals, which are used by Fast R-CNN for detection. We further merge RPN and Fast R-CNN into a single network by sharing their convolutional features---using the recently popular terminology of neural networks with 'attention' mechanisms, the RPN component tells the unified network where to look. For the very deep VGG-16 model, our detection system has a frame rate of 5fps (including all steps) on a GPU, while achieving state-of-the-art object detection accuracy on PASCAL VOC 2007, 2012, and MS COCO datasets with only 300 proposals per image. In ILSVRC and COCO 2015 competitions, Faster R-CNN and RPN are the foundations of the 1st-place winning entries in several tracks. Code has been made publicly available.

研究の動機と目的

• 最先端検出器における領域提案のボトルネックを削減することを動機づける。
• 検出ネットワークと特徴を共有する完全畳み込みの Region Proposal Network (RPN) を開発する。
• RPN をエンドツーエンドで訓練し、これを Fast R-CNN と統合して統一ネットワークとする。
• 標準ベンチマーク（PASCAL VOC、MS COCO）で速度と精度の向上を示す。

提案手法

• Region Proposal Networks (RPNs) を導入し、完全畳み込みで Fast R-CNN と畳み込み層を共有する。
• 各スライディングウィンドウ位置で、3つのスケールと3つのアスペクト比を用いた複数のアンカーを予測し、マルチスケールの物体をカバーする（k=9）。
• オブジェクトネス分類と境界ボックス回帰を組み合わせたマルチタスク損失で訓練する。
• 平行移動不変のアンカー機構を用いてパラメータを削減し、物体が移動しても一貫した提案を保証する。
• 提案と検出の共有特徴を持つ統一ネットワークを作るため、4段階の交互/共有スキームで訓練する。
• PASCAL VOCと COCO で評価し、Selective Search および EdgeBoxes と比較する；リアルタイムに近い速度を示す（例：VGG-16 で 5fps）。

実験結果

リサーチクエスチョン

• RQ1 領域提案は CNN フレームワーク内で検出精度を犠牲にすることなく効率的に生成できるのか。
• RQ2 提案ネットワークと検出ネットワーク間で畳み込み特徴を共有することは、計算量とメモリを削減しつつ精度を維持または向上させるのか。
• RQ3 アンカーを用いたマルチスケールの提案は、伝統的な画像ピラミッドやマルチフィルタピラミッドと比べて速度と精度の点でどうなるのか。
• RQ4 RPNとFast R-CNN を組み合わせた統一的にエンドツーエンドで訓練可能なネットワークを得るには、どの訓練戦略が最適か。
• RQ5 提案手法はより深いネットワークや COCO のような大規模データセットへどのようにスケールするのか。

主な発見

• RPNs は検出器と畳み込み特徴を共有することでほぼ追加コストなしに領域提案を実現できる（例: 1画像あたり提案に約 10 ms）。
• Faster R-CNN は VOC 2007/2012 で約 300 提案/画像程度で競合的なまたは優れた mAP を達成し、Selective Search および EdgeBoxes より精度が高く、はるかに高速。
• 外部提案法を RPN に置換することでエンドツーエンドの検出が高速化（GPU 上の VGG-16 で 5fps など、全工程を含む） 。
• 共有特徴を持つ統一ネットワークは高い検出精度を維持し、独立して訓練するより訓練時間を短縮できる。
• アンカーベースのマルチスケール提案は、少数のアンカー（k=9）で物体のスケールとアスペクト比を効果的にカバーし、フィーチャー ピラミッドや画像ピラミッドを必要としない。
• より強力なバックボーンネットワーク（例: VGG-16）は RPN 提案の質と下流の検出性能を向上させる（ZF ベース構成と比べた mAP の改善例）。