[論文レビュー] Bootstrapping Face Detection with Hard Negative Examples

Shaohua Wan, Zhijun Chen+3 more|arXiv (Cornell University)|Aug 7, 2016

Face recognition and analysis参考文献 14被引用数 48

ひとこと要約

本論文では、背景領域から収集したハードネガティブ例を繰り返し再訓練に用いることで、Faster R-CNNに基づく顔検出の性能を向上させるハードネガティブマイニング戦略を提案する。トレーニング中にこれらの検出が難しいネガティブ例を追加することで、FDDBベンチマークにおける性能が顕著に向上し、特にResNet-50アーキテクチャと組み合わせた場合、最先端の検出器を上回る結果を達成する。

ABSTRACT

Recently significant performance improvement in face detection was made possible by deeply trained convolutional networks. In this report, a novel approach for training state-of-the-art face detector is described. The key is to exploit the idea of hard negative mining and iteratively update the Faster R-CNN based face detector with the hard negatives harvested from a large set of background examples. We demonstrate that our face detector outperforms state-of-the-art detectors on the FDDB dataset, which is the de facto standard for evaluating face detection algorithms.

研究の動機と目的

• 顔検出における深刻なクラス不均衡、すなわち背景領域が前景の顔よりも著しく多い問題に対処すること。
• 遮蔽、ポーズの変化、低解像度などの困難な状況に対する検出のロバスト性を向上させること。
• ハードネガティブマイニングを活用して、Faster R-CNNに基づく顔検出器の性能を向上させ、誤検出を低減すること。
• 収集したハードネガティブ例を用いた繰り返し再訓練が、FDDBベンチマークで測定可能な性能向上をもたらすことを示すこと。

提案手法

• 本手法は二段階のトレーニングプロセスを用いる：まず標準データ上でベースとなるFaster R-CNN検出器を訓練し、次に最初のモデルの誤検出（false positives）からハードネガティブ例を収集する。
• ハードネガティブ例は、任意の正例顔バウンディングボックスとのIoUが0.5未満であり、誤って陽性と分類された領域提案と定義される。
• これらのハードネガティブ例はトレーニングセットに追加され、ミニバッチごとに背景対前景区間比を3:1に維持したままモデルを再訓練する。
• 効率性を高めるために、RPNとFast R-CNNの近似的な共同最適化を採用し、バックボーンネットワークにResNet-50を用いる。
• 検出器が困難なネガティブ例をよりよく拒否できるようになるように、このプロセスを繰り返し適用して改善を図る。

実験結果

リサーチクエスチョン

• RQ1 ハードネガティブマイニングは、顔検出タスクにおけるFaster R-CNNの性能を顕著に向上させることができるか？
• RQ2 収集したハードネガティブ例を用いた繰り返し再訓練は、FDDBのような困難なベンチマークにおける検出精度にどのように影響を与えるか？
• RQ3 ResNet-50のようなより深いネットワークを用いることで、顔検出におけるハードネガティブマイニングの利点が拡大するか？
• RQ4 ハードネガティブマイニングは、複雑な画像条件における誤検出率をどの程度低減できるか？

主な発見

• 提案手法FRCNN_R50_HNMは、FDDBデータセットで最先端の性能を達成し、FRCNN_VGG16およびFRCNN_R50を上回る。
• ハードネガティブマイニングにより、標準的なトレーニングに比べて顕著な性能向上が得られ、離散的および連続的ROC曲線の改善によって示された。
• FRCNN_R50_HNMは、遮蔽や低解像度の顔のような難しいケースにおいて、誤検出を顕著に低減した。
• ハードネガティブマイニングによる性能向上は、VGG16と比較してより深いネットワーク（ResNet-50）を用いた場合に顕著に現れた。