[論文レビュー] S$^3$FD: Single Shot Scale-invariant Face Detector

Shifeng Zhang, Xiangyu Zhu+4 more|arXiv (Cornell University)|Aug 17, 2017

Face recognition and analysis参考文献 57被引用数 33

ひとこと要約

S$^3$FD は、マルチレイヤーアンカーやスケール補正マッチング、マックスアウトバックグラウンドラベル化を組み合わせたスケールに頼らないフレームワークを採用し、1ショットで小顔検出を向上させるリアルタイム顔検出器を提案する。WIDER FACE、PASCAL、FDDB、AFWで最先端の性能を達成し、Titan X (Pascal) で 36 FPS を達成している。

ABSTRACT

This paper presents a real-time face detector, named Single Shot Scale-invariant Face Detector (S$^3$FD), which performs superiorly on various scales of faces with a single deep neural network, especially for small faces. Specifically, we try to solve the common problem that anchor-based detectors deteriorate dramatically as the objects become smaller. We make contributions in the following three aspects: 1) proposing a scale-equitable face detection framework to handle different scales of faces well. We tile anchors on a wide range of layers to ensure that all scales of faces have enough features for detection. Besides, we design anchor scales based on the effective receptive field and a proposed equal proportion interval principle; 2) improving the recall rate of small faces by a scale compensation anchor matching strategy; 3) reducing the false positive rate of small faces via a max-out background label. As a consequence, our method achieves state-of-the-art detection performance on all the common face detection benchmarks, including the AFW, PASCAL face, FDDB and WIDER FACE datasets, and can run at 36 FPS on a Nvidia Titan X (Pascal) for VGA-resolution images.

研究の動機と目的

• オブジェクトのスケールが小さくなるにつれてアンカーに基づく顔検出器の性能が低下する問題を解決すること。特に小顔および中顔に対して。
• 大きなストライドと受容 field の不一致により、小顔の特徴表現とアンカーマッチングに限界が生じる問題を克服すること。
• 密集して配置された小アンカーによる誤検出を減らすために、マックスアウトバックグラウンドラベル戦略を導入すること。
• スケール補正アンカーマッチング機構により、小顔および外側を向いた顔の再現率を向上させること。
• 複数のベンチマークで最先端の性能を達成しながら、リアルタイム推論速度を維持すること。

提案手法

• ストライドが 4 から 128 ピクセルの複数の特徴レイヤーにアンカーをタイル配置することで、すべての顔スケールに十分な特徴表現を確保する。
• 有効な受容フィールド解析と等確率間隔原理を用いて、16 から 512 ピクセルのアンカーサイズを設計し、スケール分布をバランスさせる。
• 2段階のスケール補正アンカーマッチング戦略を導入：まず IoU の閾値を調整し、次にスケールに応じた補正により、すべての顔スケールが十分なアンカーにマッチするように保証する。
• 最も低い検出レイヤーにマックスアウトバックグラウンドラベルを提案することで、過剰な小アンカーネガティブ例による誤検出を抑制する。
• マルチスケール特徴統合と非最大抑制（NMS）を用いて最終的なボックス選択を行う VGG16 をバックボーンネットワークとして使用する。
• 推論速度を向上させるために、NMS の前に信頼度しきい値（0.05）とトップ-K フィルタリング（400ボックス）を適用する。

実験結果

リサーチクエスチョン

• RQ1 アンカーベースの検出器がなぜ小顔を効果的に検出できないのか。特徴表現とアンカーマッチングにおける根本的要因は何か。
• RQ2 アンカーサイズとレイヤー配置を最適化することで、すべての顔スケールに一貫した特徴カバレッジを確保できるか。
• RQ3 スケール補正戦略により、離散的なアンカーサイズと一致しない顔の再現率を向上させられるか。
• RQ4 マックスアウトバックグラウンドラベルは、密集した小アンカーによる誤検出をどの程度低減できるか。
• RQ5 統一的で単一ショットの検出器が、WIDER FACE や FDDB、PASCAL といった多様なベンチマークで最先端の性能を達成できるか。

主な発見

• WIDER FACE の検証セットでは、mAP が Easy で 0.937、Medium で 0.924、Hard で 0.852 を達成。テストセットでは 0.928、0.913、0.840 を記録。
• FDDB データセットでは、非連続的および連続的 ROC 曲線の両方で、先行研究をすべて上回り、制約のない顔の変動に強い性能を示した。
• VGA解像度の画像に対して、1台のNvidia Titan X (Pascal) で 36 FPS の推論速度を達成し、リアルタイム性能を確認した。
• ネガティブアンカーのおよそ 75% が最も低いレイヤー（conv3_3）に由来しており、マックスアウトバックグラウンドラベルにより誤検出が低減された。
• スケール補正マッチング戦略により、従来の IoU ベースマッチングではマッチングされるアンカーが少なかった極小顔および外側を向いた顔の再現率が顕著に向上した。
• マルチレイヤーアンカーを用いたスケールに公平なフレームワークにより、すべての顔スケールに十分な特徴表現が確保され、小顔における特徴不足の問題が解決された。