[論文レビュー] Object Detection Networks on Convolutional Feature Maps

Shaoqing Ren, Kaiming He+3 more|arXiv (Cornell University)|Apr 23, 2015

Advanced Neural Network Applications参考文献 39被引用数 35

ひとこと要約

この論文では、ResNets や Faster R-CNN などの強力な特徴抽出器と組み合わせることで、物体検出の精度を顕著に向上させる、畳み込み特徴マップ上に構築されたネットワーク（NoCs）を紹介する。主な貢献は、最先端の性能を達成するには、領域特徴に対して深く畳み込み型の分類器を用いる必要があることを示したことである。これは、優れた特徴抽出器を備えた場合でさえ、単純な多層パーセプトロン（MLP）を上回る性能を発揮する。

ABSTRACT

Most object detectors contain two important components: a feature extractor and an object classifier. The feature extractor has rapidly evolved with significant research efforts leading to better deep convolutional architectures. The object classifier, however, has not received much attention and many recent systems (like SPPnet and Fast/Faster R-CNN) use simple multi-layer perceptrons. This paper demonstrates that carefully designing deep networks for object classification is just as important. We experiment with region-wise classifier networks that use shared, region-independent convolutional features. We call them "Networks on Convolutional feature maps" (NoCs). We discover that aside from deep feature maps, a deep and convolutional per-region classifier is of particular importance for object detection, whereas latest superior image classification models (such as ResNets and GoogLeNets) do not directly lead to good detection accuracy without using such a per-region classifier. We show by experiments that despite the effective ResNets and Faster R-CNN systems, the design of NoCs is an essential element for the 1st-place winning entries in ImageNet and MS COCO challenges 2015.

研究の動機と目的

• 特徴抽出器に依存しない物体検出システムにおける領域別分類器の役割を調査すること。
• 標準的な多層パーセプトロン（MLP）を超える、より深く洗練された分類器が検出精度を向上させられるかどうかを特定すること。
• 共有された畳み込み特徴マップ上で畳み込みネットワークを領域別分類器として用いる有効性を調査すること。
• 優れた画像分類モデル（例：ResNets、GoogLeNets）が、適切な領域別分類設計がなければ、直接的に検出精度を向上させないことを示すこと。
• Faster R-CNN に完全に畳み込み型の画像分類器を統合する実用的なフレームワークを提供すること。

提案手法

• 領域特徴はRoIプーリングで抽出され、それらを深く共有された分類器ネットワークで分類する「畳み込み特徴マップ上に構築されたネットワーク」（NoCs）を提案する。
• 3つのNoCファミリーを設計：浅いMLP、より深いMLP（3fc）、ストライド16の途中特徴マップを用いた深く畳み込み型のNoCs。
• より深いネットワークで特徴マップのストライドを32から16に低下させる際、受容 field のサイズを維持するために「à trous」（穴）アルゴリズムを適用する。
• ResNet-101、GoogleNet、VGG-16 をバックボーン特徴抽出器として用い、Faster R-CNN システム全体を端末から端末までNoCsとともに学習する。
• 空間分解能を保つために、中間層（例：ResNet の res4b）でRoIプーリングを適用し、効果的な畳み込み分類を可能にする。
• MS COCO および PASCAL VOC ベンチマークで、mAP および AP@0.5/0.75 を用いて、さまざまなNoCアーキテクチャ間の検出性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 単純な多層パーセプトロン（MLP）と比較して、より深く畳み込み型の領域別分類器が、物体検出精度を顕著に向上させるか？
• RQ2 ResNets や GoogLeNets といった最先端の画像分類モデルが、適切な領域別分類器がなければ、検出性能を直接的に向上させられるか？
• RQ3 特徴マップの空間分解能（すなわち、ストライド）が検出性能に重要な要因であるか？ また、それはNoC設計とどのように相互作用するか？
• RQ4 MLP、ConvNet、maxout-ConvNet といった異なるNoCアーキテクチャは、局所化精度および分類精度においてどのように比較されるか？
• RQ5 深く畳み込み型のNoCは、ImageNet や MS COCO 2015 といった主要なチャレンジでトップパフォーマンスを達成する検出器の成功に、どの程度貢献しているか？

主な発見

• ResNet-101 を用いた MS COCO で、1層分類器（1fc）から3層全結合（3fc）NoC に置き換えることで、AP が 21.3% から 26.3% に向上した。これは、領域別分類器における深さの重要性を示している。
• 1fc NoC を深く畳み込み型のNoC（res5a–5c + fc）に置き換えることで、MS COCO でのAPが 27.2% に上昇し、AP@0.75 で1.7ポイントの向上を達成した。これは局所化性能の向上を示している。
• より深いNoCは、局所化精度を顕著に向上させた（例：AP@0.75 で+1.7ポイント）が、AP@0.5 への影響は最小限にとどまり、正確なバウンディングボックス予測における役割が明確になった。
• ImageNet のトップ-1精度が優れていたにもかかわらず、VGG-16 は、特徴マップのストライドが細かめ（16 vs 32）であるため、素朴な Faster R-CNN において ResNet や GoogleNet を上回った。これは空間分解能の重要性を強調している。
• アブレーションスタディにより、優れた特徴抽出器を備えた場合でさえ、深く畳み込み型のNoCがトップクラスの検出性能を達成するために不可欠であることが確認された。
• 深く畳み込み型のNoCとResNet-101を組み合わせた最終システムは、MS COCO で27.2% のmAPを達成し、ImageNet および MS COCO 2015 チャレンジの1位ソリューションの基盤を形成した。