[論文レビュー] WIDER FACE: A Face Detection Benchmark

Shuo Yang, Ping Luo+2 more|arXiv (Cornell University)|Nov 20, 2015

Face recognition and analysis参考文献 39被引用数 66

ひとこと要約

本論文は、32,203枚の画像にまたがる393,703個の顔を含み、スケール、ポーズ、被覆、照明の点で極端な変動を示す大規模な顔検出ベンチマーク「WIDER FACE」を紹介する。深層畳み込みネットワークを用いたマルチスケール2段階のカスケードフレームワークを提案し、スケール変動に対処する。このフレームワークは最先端の性能を達成し、現実世界の条件下で既存の検出器の失敗モードを明らかにした。

ABSTRACT

Face detection is one of the most studied topics in the computer vision community. Much of the progresses have been made by the availability of face detection benchmark datasets. We show that there is a gap between current face detection performance and the real world requirements. To facilitate future face detection research, we introduce the WIDER FACE dataset, which is 10 times larger than existing datasets. The dataset contains rich annotations, including occlusions, poses, event categories, and face bounding boxes. Faces in the proposed dataset are extremely challenging due to large variations in scale, pose and occlusion, as shown in Fig. 1. Furthermore, we show that WIDER FACE dataset is an effective training source for face detection. We benchmark several representative detection systems, providing an overview of state-of-the-art performance and propose a solution to deal with large scale variation. Finally, we discuss common failure cases that worth to be further investigated. Dataset can be downloaded at: mmlab.ie.cuhk.edu.hk/projects/WIDERFace

研究の動機と目的

• 現行の顔検出性能と現実世界の要件との間のギャップを、十分に挑戦的でないデータセットによるものとして解消すること。
• 制約のない条件下での顔検出分野の進歩を促進するため、大規模かつ多様なベンチマークを提供すること。
• 被覆、ポーズ、イベントカテゴリ、バウンディングボックスといった豊富なアノテーションを通じて、アルゴリズムの失敗を詳細に分析可能にする。
• 極端なスケール変動に対処できるマルチスケール検出フレームワークの開発と評価。
• 新しいデータセット上で最先端の検出器をベンチマーク化し、継続的な失敗事例を特定し、今後の研究を導くこと。

提案手法

• 32,203枚の画像と393,703個のアノテート済み顔を含むWIDER FACEデータセットを構築。これは、以前のデータセットの10倍の規模である。
• 各顔に対してバウンディングボックス、被覆レベル、ポーズ角度、イベントカテゴリ（例：パレード、交通、コンcert）をアノテート。
• マルチスケール2段階カスケードフレームワークを提案：まず複数の入力スケールネットワークを用いて顔候補を生成し、次に分類と回帰により検出を精緻化。
• 交差エントロピー損失とユークリッド損失を併用し、エンドツーエンドで完全畳み込みニューラルネットワークを学習。
• IoU > 0.5およびセンター距離マッチングを用いて、候補を正例／負例に割り当てる。
• 正例数が全サンプルの10％未満の場合、正例としてのグランドトゥルース顔をランダムにクロップすることでデータオーグメンテーションを実施。

実験結果

リサーチクエスチョン

• RQ1 現実世界の画像に見られる極端なスケール、ポーズ、被覆の変動下で、最先端の顔検出器の性能はどの程度低下するか？
• RQ2 1スケールモデルと比較して、マルチスケール2段階カスケードフレームワークは顔検出における大規模なスケール変動を効果的に処理できるか？
• RQ3 WIDER FACEのような多様性に富んだベンチマークで評価した場合、現在の顔検出器の最も一般的な失敗事例は何か？
• RQ4 WIDER FACEデータセットで学習させることで、深層学習ベースの顔検出器の一般化性能とロバストネスはどの程度向上するか？
• RQ5 交通、パレード、スポーツファンなどの異なるイベントカテゴリは検出精度にどのように影響するか。特にどのカテゴリが最も困難か？

主な発見

• WIDER FACEデータセットには32,203枚の画像にまたがり、合計393,703個の顔が含まれており、これは次に大きい顔検出データセットの10倍の規模である。
• 提案されたマルチスケール2段階カスケードフレームワークは、WIDER FACEベンチマークで最先端の性能を達成しており、特に小規模顔および大規模顔の検出において顕著な改善を示した。
• 被覆と極端なポーズが最も困難な要因であり、特に「暴動」や「葬儀」などの最も困難な20のイベントカテゴリでは検出率が著しく低下した。
• ベンチマークにより、標準的なベンチマークで高い性能を示すにもかかわらず、小規模顔（<20×20ピクセル）や重度に被覆された顔では、既存の検出器が失敗することが明らかになった。
• 背景がごった返しで複雑なポーズを取る「パレード」や「交通」、「スポーツファン」などのイベントカテゴリでは、検出率が低く、特に困難な課題となった。
• グランドトゥルース顔のランダムクロップによるデータオーグメンテーションにより、学習の安定性と正例のバランスが向上し、特に正例が少ない領域で顕著な効果が得られた。