[論文レビュー] Recurrent Scale Approximation for Object Detection in CNN

Yu Liu, Hongyang Li+4 more|arXiv (Cornell University)|Jul 29, 2017

Advanced Neural Network Applications参考文献 34被引用数 6

ひとこと要約

本論文では、1回の順方向伝搬のみを用いて畳み込みニューラルネットワーク（CNN）におけるマルチスケールオブジェクト検出の特徴マップを計算するための、再帰的スケール近似（RSA）を提案する。初期の大スケールマップから再帰的に小さなスケールの特徴を近似し、スケール予測ネットワークとランドマーク再追跡ネットワーク（LRN）でそれを強化することで、著しく低い計算コストで最先端の顔検出性能を達成する。

ABSTRACT

Since convolutional neural network (CNN) lacks an inherent mechanism to handle large scale variations, we always need to compute feature maps multiple times for multi-scale object detection, which has the bottleneck of computational cost in practice. To address this, we devise a recurrent scale approximation (RSA) to compute feature map once only, and only through this map can we approximate the rest maps on other levels. At the core of RSA is the recursive rolling out mechanism: given an initial map at a particular scale, it generates the prediction at a smaller scale that is half the size of input. To further increase efficiency and accuracy, we (a): design a scale-forecast network to globally predict potential scales in the image since there is no need to compute maps on all levels of the pyramid. (b): propose a landmark retracing network (LRN) to trace back locations of the regressed landmarks and generate a confidence score for each landmark; LRN can effectively alleviate false positives caused by the accumulated error in RSA. The whole system can be trained end-to-end in a unified CNN framework. Experiments demonstrate that our proposed algorithm is superior against state-of-the-art methods on face detection benchmarks and achieves comparable results for generic proposal generation. The source code of RSA is available at github.com/sciencefans/RSA-for-object-detection.

研究の動機と目的

• CNNにおけるマルチスケールオブジェクト検出の高い計算コストを低減すること。特に、スケールごとに繰り返し特徴マップが計算される問題に対処すること。
• 標準的なマルチスケール推論パイプラインで生じる冗長な計算を回避するため、CNNがスケール変動を本質的に処理できないという制限を克服すること。
• 初期特徴マップ1つから複数スケールの特徴マップを近似する手法を開発し、計算オーバーヘッドを最小限に抑えつつ検出精度を維持すること。
• 再帰的スケール近似による誤差蓄積が原因で生じる誤検出（偽陽性）を低減することで、検出の信頼性を向上させること。
• スケール予測、特徴近似、信頼度最適化を統合したエンドツーエンドで学習可能な統合フレームワークを構築すること。

提案手法

• 入力マップの半分の空間的サイズを持つ特徴マップを再帰的に生成する再帰的スケール近似（RSA）ユニットを導入し、1回の順方向伝搬でスケール近似を実現する。
• 画像に最も関連するオブジェクトスケールを予測するスケール予測ネットワークを設計し、関係のないスケールでの特徴マップ生成を回避することで計算量を削減する。
• RSAレイヤーを遡ってランドマーク位置を再追跡し、誤差蓄積による偽陽性を低減するための信頼度スコアを割り当てるランドマーク再追跡ネットワーク（LRN）を提案する。
• RSA、スケール予測ネットワーク、LRNを統合したエンドツーエンドで学習可能なCNNフレームワークに統合する。
• 変換器を用いて、例としてFDDBでは楕円形のバウンディングボックスアノテーションを長方形の予測に変換することで、連続評価設定での性能向上を図る。
• RSAフレームワークを顔検出および一般オブジェクト候補生成（例：ILSVRC上のRPN）の両方のタスクに適用し、タスク間での一般化能力を示す。

実験結果

リサーチクエスチョン

• RQ1 CNNベースのオブジェクト検出器において、初期特徴マップ1つから複数スケールの特徴マップを効果的に近似できるか？
• RQ2 検出精度を損なわず、マルチスケールオブジェクト検出における計算効率をどのように向上させられるか？
• RQ3 スケール予測ネットワークが画像内の関連スケールのみを予測することで、冗長な計算をどの程度削減できるか？
• RQ4 ランドマーク再追跡ネットワークは、再帰的スケール近似による誤差蓄積が原因で生じる偽陽性を緩和できるか？
• RQ5 RSAフレームワークは顔検出にとどまらず、一般オブジェクト検出にも一般化可能か？

主な発見

• FDDBベンチマークにおいて、提案手法のRSA+LRNは50個の偽陽性で93.0%のリCALLを達成し、最先端の手法を上回る性能を示した。
• AFWデータセットでは、元のアノテーションを用いた場合に99.17%のAP、改訂済みアノテーションを用いた場合に99.96%のAPを達成し、困難な顔検出タスクにおいても高い精度を示した。
• MALFベンチマークでは、82.4%のリCALLを達成し、偽陽性がゼロであったため、優れた精度と頑健性を示した。
• RSA+RPNの変種は、単一スケールRPNと比較して計算コストを61.05%削減したが、ILSVRC DET val2でのリCALLは維持または向上させた。
• RSAフレームワークを用いることで、ILSVRCにおける1枚あたりの推論時間が249msから124msに短縮され、顕著な高速化が達成された。
• スケール予測ネットワークは関連スケールを効果的に特定し、しばしば背景 dominant なスケールでの特徴マップ生成を回避することで計算量を削減した。