[論文レビュー] A Multi-Scale Cascade Fully Convolutional Network Face Detector

Zhenheng Yang, Ram Nevatia|arXiv (Cornell University)|Sep 12, 2016

Face recognition and analysis参考文献 1被引用数 13

ひとこと要約

本論文では、スコアマップを用いてさまざまなスケールで顔の候補を生成・精錬する3段階のFCN（完全畳み込みネットワーク）からなるマルチスケール・キャスケードFCN顔検出器を提案する。この手法は、AFLとFDDB、PASCAL Faces、IJB-Aのデータセットで最先端の性能を達成し、DPMよりも優れたノイズ耐性と著しく短い推論時間を持つ。

ABSTRACT

Face detection is challenging as faces in images could be present at arbitrary locations and in different scales. We propose a three-stage cascade structure based on fully convolutional neural networks (FCNs). It first proposes the approximate locations where the faces may be, then aims to find the accurate location by zooming on to the faces. Each level of the FCN cascade is a multi-scale fully-convolutional network, which generates scores at different locations and in different scales. A score map is generated after each FCN stage. Probable regions of face are selected and fed to the next stage. The number of proposals is decreased after each level, and the areas of regions are decreased to more precisely fit the face. Compared to passing proposals directly between stages, passing probable regions can decrease the number of proposals and reduce the cases where first stage doesn't propose good bounding boxes. We show that by using FCN and score map, the FCN cascade face detector can achieve strong performance on public datasets.

研究の動機と目的

• 『野生の』画像における顔検出の課題、すなわち照明、ポーズ、被覆、任意の顔のスケールおよび位置の大きなばらつきに対処すること。
• 従来のスライディングウィンドウ法や固定サイズの候補生成手法に代わり、完全畳み込みでマルチスケールのキャスケードフレームワークを採用することで、検出精度と効率を向上させること。
• FCNアーキテクチャにおけるエンドツーエンドトレーニングとスコアマップの活用により、トレーニングデータにおけるノイズの多いアノテーションへの感受性を低減すること。
• DPM や Faceness といった最先端の検出器と比較して、多様な公開データセットで優れた性能を発揮しながら、推論時間が著しく短い状態を維持すること。

提案手法

• フレームワークは、3段階の完全畳み込みネットワーク（FCN）のキャスケードを用い、各段階でスパティアルな位置ごとに顔の可能性を予測するスコアマップを生成する。
• 各FCN段階はマルチスケールの画像入力を処理し、マルチストリームアーキテクチャを用いて異なるスケールにおける検出信頼度を統合したスコアマップを出力する。
• 提案される候補は、スコアマップの高い活性化値に基づいて選択され、次の段階に渡され、後続の段階ではより小さな、より精錬された領域に集中する。
• 最終段階では、ハード例に特化した検証用FCNを用いて、局所化の精度を向上させ、誤検出を低減する。
• 固定サイズの候補ではなくスコアマップを用いることで、リサイズの必要がなくなり、空間的に密な監督のもとでエンドツーエンドトレーニングが可能になる。
• ネットワークは、VGG Faceデータセットの正例6,000件のみを用いてエンドツーエンドでトレーニングされ、アノテーションのノイズに対して極めて感受性が低い。

実験結果

リサーチクエスチョン

• RQ1 マルチスケールのスコアマップを用いた完全畳み込みキャスケードフレームワークは、従来のスライディングウィンドウ法や候補ベースの手法を上回る顔検出性能を発揮できるか？
• RQ2 キャスケード精錬プロセスは、スケールや難易度が異なる多様なデータセットにおいて、検出精度と計算効率にどのように影響を与えるか？
• RQ3 FCNキャスケードは、トレーニングデータにおけるノイズや不正確なボクシングボックスアノテーションに対してどの程度ロバストか？
• RQ4 IJB-Aのような極端なスケール変動、照明変化、被覆を伴うデータセットにおいて、本手法は高い性能を維持できるか？
• RQ5 DPM や Faceness といった最先端の検出器と比較して、FCNキャスケードの精度と推論速度の両面での性能はどの程度か？

主な発見

• AFWデータセットでは、FCNキャスケードは最先端の性能を達成し、DPMと同等の性能を示し、Viola-Jones や CNNキャスケードを上回った。
• FDDBデータセットでは、実世界の制約の多い画像に焦点を当てたにもかかわらず、強力な性能を発揮し、トップクラスの検出器にランクインした。
• PASCAL Facesデータセットでは、DPM と Faceness を除き、すべての検出器を上回り、困難で被覆された、多様な顔のインスタンスに対する優れた一般化性能を示した。
• 極端なスケール変動、照明変化、被覆が顕著なIJB-Aデータセットでは、FCNキャスケードが最高の平均精度（AP）とROC曲線下の面積（AUC）を達成し、DPM、Viola-Jones、CNNキャスケードを上回った。
• FCNキャスケードは1フレームあたり1.1秒で実行され、DPMの14.8秒/フレームと比べて著しく高速であり、優れた精度を維持しながらも、大きな効率的利点を示した。