[論文レビュー] Face Detection using Deep Learning: An Improved Faster RCNN Approach

Xudong Sun, Pengcheng Wu+1 more|arXiv (Cornell University)|Jan 28, 2017

Face recognition and analysis参考文献 27被引用数 27

ひとこと要約

本稿では、特徴マッピングの連結、ハードネガティブマッピング、マルチスケールトレーニング、最適化されたアンカーカンfigurationを統合することで、顔検出のための改善されたFaster R-CNNフレームワークを提案する。本手法は、FDDBベンチマークにおいて、受容的特徴曲線（ROC）下の面積において、これまでに発表されたあらゆる手法を上回る最先端の性能を達成した。

ABSTRACT

In this report, we present a new face detection scheme using deep learning and achieve the state-of-the-art detection performance on the well-known FDDB face detetion benchmark evaluation. In particular, we improve the state-of-the-art faster RCNN framework by combining a number of strategies, including feature concatenation, hard negative mining, multi-scale training, model pretraining, and proper calibration of key parameters. As a consequence, the proposed scheme obtained the state-of-the-art face detection performance, making it the best model in terms of ROC curves among all the published methods on the FDDB benchmark.

研究の動機と目的

• 顔検出における従来のハンドクラフト特徴量手法の限界を、ディーブラーニングを活用することで克服すること。
• 顔検出という特殊なオブジェクト検出タスクに特化したFaster R-CNNフレームワークの性能を向上させること。
• 隠蔽、小規模、非正面の顔などの困難なケースにおける検出性能を向上させること。
• 顔検出の標準評価セットであるFDDBベンチマークで最先端の結果を達成すること。
• 複数の工学的戦略が顔検出の精度を向上させる有効性を検証すること。

提案手法

• 提案手法は、複数の畳み込み層からの特徴連結を導入することで、Faster R-CNNを拡張し、マルチスケール特徴表現を強化する。
• トレーニング中にハードネガティブマッピングを適用することで、困難なネガティブサンプルに注目し、誤検出を低減する。
• データオーグメンテーション中に入力画像をランダムにスケーリングすることで、マルチスケールトレーニングを実装し、スケール変動に対するロバストネスを向上させる。
• 領域提案ネットワーク（RPN）におけるアンカーカンfigurationを、$64 \times 64$ サイズのグループを追加することで変更し、アンカーカン数を9から12に増加させ、小規模な顔の検出を改善する。
• FDDBへのファインチューニングの前に、より大規模で困難なWIDER FACEデータセットで事前学習することで、一般化性能を向上させる。
• 各戦略の個別的および組み合わせ的寄与度を検証するために、アブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 特徴連結とマルチスケールトレーニングは、ディーブラーニングフレームワークにおける顔検出性能にどのように影響を与えるか？
• RQ2 ハードネガティブマッピングは、顔検出モデルにおける誤検出をどの程度低減できるか？
• RQ3 WIDER FACEのようなより大規模で多様なデータセットで事前学習することで、より小規模なFDDBベンチマークでの一般化性能が向上するか？
• RQ4 RPNにおけるアンカーサイズの変更が、小規模または隠蔽された顔の検出に与える影響は何か？
• RQ5 FDDBベンチマークにおける全体的な検出性能を最適化するには、どの技術の組み合わせが最良か？

主な発見

• 提案手法は、FDDBベンチマークにおける受容的特徴曲線（ROC）下の面積（AUC）が最高を記録し、これまでに発表されたあらゆる手法を上回った。
• アブレーションスタディの結果、アンカーモディフィケーション、事前学習、ハードネガティブマッピング、特徴連結、マルチスケールトレーニングのすべてを組み合わせた戦略（ID 7）が最も優れた性能を示した。
• 64 × 64 サイズのグループを追加した12アンカー構成にすることで、小規模な顔の検出が、デフォルトの9アンカー構成よりも向上した。
• WIDER FACEでの事前学習により再現率が向上したが、誤検出も増加したが、ハードネガティブマッピングによって効果的に是正された。
• 特徴連結は、アブレーションスタディ（ID 2 対 ID 3）で示されるように、マルチレベル特徴学習を可能にすることで、モデル性能を顕著に向上させた。
• マルチスケールトレーニングは、ぼやけ、隠蔽、極端なポーズなどの困難なケースにおいて、さらなる検出精度の向上をもたらした。