[論文レビュー] RefineFace: Refinement Neural Network for High Performance Face Detection

Shifeng Zhang, Cheng Chi+2 more|arXiv (Cornell University)|Sep 10, 2019

Face recognition and analysis参考文献 80被引用数 20

ひとこと要約

RefineFaceは、回帰精度と分類再現率の向上により顔検出性能を向上させる1ショットのリファインメントニューラルネットワークを提案する。5つのモジュール—選択的2段階回帰、選択的2段階分類、スケールに適応したマージン損失、特徴監督モジュール、受容 field 拡張—を統合し、WIDER FACE Hardサブセットで90.0%のSOTA APを達成するとともに、ResNet-18を用いて37.3 FPSのリアルタイム推論を実現した。

ABSTRACT

Face detection has achieved significant progress in recent years. However, high performance face detection still remains a very challenging problem, especially when there exists many tiny faces. In this paper, we present a single-shot refinement face detector namely RefineFace to achieve high performance. Specifically, it consists of five modules: Selective Two-step Regression (STR), Selective Two-step Classification (STC), Scale-aware Margin Loss (SML), Feature Supervision Module (FSM) and Receptive Field Enhancement (RFE). To enhance the regression ability for high location accuracy, STR coarsely adjusts locations and sizes of anchors from high level detection layers to provide better initialization for subsequent regressor. To improve the classification ability for high recall efficiency, STC first filters out most simple negatives from low level detection layers to reduce search space for subsequent classifier, then SML is applied to better distinguish faces from background at various scales and FSM is introduced to let the backbone learn more discriminative features for classification. Besides, RFE is presented to provide more diverse receptive field to better capture faces in some extreme poses. Extensive experiments conducted on WIDER FACE, AFW, PASCAL Face, FDDB, MAFA demonstrate that our method achieves state-of-the-art results and runs at $37.3$ FPS with ResNet-18 for VGA-resolution images.

研究の動機と目的

• 微小顔や極端なアングルにおける高精度な顔検出の継続的課題に対処する。
• 位置精度の向上により、バウンディングボックスのずれ（LOC誤差）に起因する誤検出を低減する。
• 再現率効率の向上により、複雑な状況下でも誤検出や見逃しを低減する（CLS誤差）。
• リアルタイム推論速度を維持しながらSOTAの精度を達成する1ショット検出器を開発する。
• 特徴学習と受容 field の多様性を向上させるリファインメントネットワークを設計し、スケールやアングルにわたる検出の頑健性を高める。

提案手法

• 高レベル特徴マップからのアンカーロケーションとサイズの粗い調整を実現する選択的2段階回帰（STR）を導入し、最終的な回帰器の初期化を改善する。
• 低レベル特徴から容易なネガティブサンプルをフィルタリングする選択的2段階分類（STC）を採用し、探索空間を縮小して分類効率を向上させる。
• 複数スケールにわたる顔と背景の区別を強化するスケールに適応したマージン損失（SML）を適用し、一般化性能を向上させる。
• バックボーンネットワークがより判別性の高い特徴を学習できるように支援する特徴監督モジュール（FSM）を統合する。
• 受容 field の多様性を高め、極端なアングルの顔検出を可能にする受容 field 拡張（RFE）を提案する。
• すべてのモジュールを統合した統一された1ショット顔検出器を構築し、推論オーバーヘッドを最小限に抑えながら回帰と分類を同時に最適化する。

実験結果

リサーチクエスチョン

• RQ1 リファインメントベースの1ショット検出器は、WIDER FACE や FDDB のような困難な顔検出ベンチマークでSOTA性能を達成できるか？
• RQ2 2段階のリファインメント戦略は、推論遅延を増加させることなく回帰精度を向上させることができるか？
• RQ3 選択的分類とスケールに適応した損失は、再現率効率を向上させ、誤検出をどの程度低減できるか？
• RQ4 強化された受容 field は、極端なアングルや被覆状況での検出の頑健性を向上させられるか？
• RQ5 複数のリファインメントモジュールを統合することで、多様なデータセットと顔のスケールにわたる一貫した性能向上が得られるか？

主な発見

• RefineFaceは、WIDER FACE Hardサブセットで90.0%のSOTA平均精度（AP）を達成し、2番目に高い手法であるSTNを1.55%上回った。
• FDDBデータセットでは、1,000件の誤検出における真正陽性率が99.11%に達し、制約なし条件下で新たなSOTAを樹立した。
• MAFAデータセットでは、全サブセットで83.9%のAP、マスク付きサブセットで96.2%、無視されないサブセットで95.7%を達成し、被覆状況への強い頑健性を示した。
• VGA解像度の画像をResNet-18で処理する際、37.3 FPSで動作し、標準GPUハードウェア上でのリアルタイム推論能力を示した。
• アブレーションスタディの結果、STR、STC、SML、FSM、RFEの各コンponentがLOC誤差とCLS誤差の両方の低減に顕著な寄与をしていることが確認された。
• PASCAL Faceベンチマークでは、9つのSOTA手法と3つの商業用検出器を上回り、99.45%のAPを達成し、このベンチマークで報告された最高スコアとなった。