[論文レビュー] DeepProposal: Hunting Objects by Cascading Deep Convolutional Layers

Amir Ghodrati, Ali Diba+3 more|arXiv (Cornell University)|Oct 15, 2015

Advanced Neural Network Applications参考文献 24被引用数 19

ひとこと要約

DeepProposalは、畳み込みニューラルネットワーク（CNN）の複数の畳み込み層からの特徴マップを活用して、高品質なオブジェクト候補を生成する粗〜細かい逆カスケード手法を導入する。深層部の高い再現率と初期層の正確な局所化を組み合わせることで、最先端の候補生成性能を達成し、CNNベースの検出器に統合された際には、はるかに少ない候補数でも、選択的サーチ（selective search）を上回る検出精度を実現する。

ABSTRACT

In this paper we evaluate the quality of the activation layers of a convolutional neural network (CNN) for the gen- eration of object proposals. We generate hypotheses in a sliding-window fashion over different activation layers and show that the final convolutional layers can find the object of interest with high recall but poor localization due to the coarseness of the feature maps. Instead, the first layers of the network can better localize the object of interest but with a reduced recall. Based on this observation we design a method for proposing object locations that is based on CNN features and that combines the best of both worlds. We build an inverse cascade that, going from the final to the initial convolutional layers of the CNN, selects the most promising object locations and refines their boxes in a coarse-to-fine manner. The method is efficient, because i) it uses the same features extracted for detection, ii) it aggregates features using integral images, and iii) it avoids a dense evaluation of the proposals due to the inverse coarse-to-fine cascade. The method is also accurate; it outperforms most of the previously proposed object proposals approaches and when plugged into a CNN-based detector produces state-of-the- art detection performance.

研究の動機と目的

• 畳み込みニューラルネットワーク（CNN）の初期層と深層部の相補的利点を活用して、オブジェクト候補生成を改善すること。
• 検出に事前に計算された特徴を再利用することで、余分な計算を回避する効率的でエンドツーエンドの候補生成手法を設計すること。
• 単一の特徴層の使用に起因する制限を克服し、高い再現率と正確な局所化を同時に達成すること。
• 訓練時に見られなかったカテゴリへの一般化性能と、下流の検出性能に与える影響を評価すること。

提案手法

• 本手法は、最終畳み込み層（層5）から始まり、前方に遡って初期層（例：層2）へと進む粗〜細かい逆カスケードを採用する。各段階で候補を精錬する。
• 各層で、固定されたスケールとアスペクト比を用いたスライディングウィンドウによって、活性化マップ上に候補ウィンドウを生成する。
• プーリングされたCNN特徴を用いて線形分類器でオブジェクトスコアを予測し、インテグラル画像を用いて特徴集約を定数時間で高速化する。
• 候補は粗い段階から細かい段階へと段階的にフィルタリングされ、空間的に精錬され、最終段階では初期層（例：層2）から抽出された輪郭を用いて精錬する。
• 検出に使用される同じCNN特徴を再利用するため、追加の特徴抽出が不要となり、高速な推論が可能になる。
• 本手法はオブジェクト関連の候補を優先するように学習されるため、クラス固有の適応（例：車両）が可能であり、未学習カテゴリへの一般化も可能である。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みCNNの複数の畳み込み層を効果的に組み合わせることで、オブジェクト候補の品質を向上させることができるか？
• RQ2 CNN特徴を用いた粗〜細かい逆カスケードが、再現率と局所化精度の両面で、既存の候補生成手法を上回るか？
• RQ3 検出に事前に計算された特徴を再利用することで、候補生成プロセスを効率化できるか？
• RQ4 学習時に見られなかったオブジェクトカテゴリへの一般化性能はどの程度か？
• RQ5 DeepProposalを用いることで、CNNベースのオブジェクト検出器の性能はどの程度向上するか？

主な発見

• 100個の候補で、PASCAL VOC 2007では平均平均精度（mAP）53.2を達成し、同じ候補数で選択的サーチの28.1 mAPを大きく上回った。
• DeepProposalは300個の候補でほぼ最適な検出性能に達するが、選択的サーチはピーク性能に到達するためには2000個以上の候補を必要とした。
• 車両用に微調整した場合、SppNetを用いて検出器のmAPを57.6%から60.4%に向上させ、特定クラスの検出性能向上を示した。
• COCOデータセットでは、20個のVOCクラスまたはランダムに抽出されたCOCOクラスで学習した場合、1000個の候補で0.5 IoU基準で59〜60%の再現率を維持し、優れた一般化性能を示した。
• わずかな再現率の低下（56%に低下）しか見られないが、5個のCOCOクラスでの学習でも未学習カテゴリへの一般化が良好に機能し、限定的な監視下でも堅牢であることが示された。
• 逆カスケード設計により、密な評価を回避することで効率的な推論が可能となり、検出用特徴の再利用により計算オーバーヘッドを最小限に抑えることができる。