[論文レビュー] Face Detection with Feature Pyramids and Landmarks

Samuel W. F. Earp, Pavit Noinongyao+2 more|arXiv (Cornell University)|Dec 2, 2019

Face recognition and analysis参考文献 69被引用数 9

ひとこと要約

本稿では、特徴マップのピラミッドと顔のランドマーク回帰を備えた、1段階型RCNNベースの顔検出システムを提案する。MobileNetV2およびResNetバックボーンを用い、WIDER FACEデータセットに限定して訓練した。リアルタイム推論と高精度なランドマーク検出を実現し、91.7%のAP（WIDER FACEのハードセット）を達成する近似最先端の顔検出精度を実現。また、ランダム初期化の影響が顕著であるため、コンテキストモジュールのアーキテクチャ選択が性能に与える影響は最小限であることが示された。

ABSTRACT

Accurate face detection and facial landmark localization are crucial to any face recognition system. We present a series of three single-stage RCNNs with different sized backbones (MobileNetV2-25, MobileNetV2-100, and ResNet101) and a six-layer feature pyramid trained exclusively on the WIDER FACE dataset. We compare the face detection and landmark accuracies using eight context module architectures, four proposed by previous research and four modified versions. We find no evidence that any of the proposed architectures significantly overperform and postulate that the random initialization of the additional layers is at least of equal importance. To show this we present a model that achieves near state-of-the-art performance on WIDER FACE and also provides high accuracy landmarks with a simple context module. We also present results using MobileNetV2 backbones, which achieve over 90% average precision on the WIDER FACE hard validation set while being able to run in real-time. By comparing to other authors, we show that our models exceed the state-of-the-art for similar-sized RCNNs and match the performance of much heavier networks.

研究の動機と目的

• リアルタイムで高精度な顔検出システムを、統合された顔のランドマーク位置特定機能とともに開発すること。
• 異なるコンテキストモジュールアーキテクチャが顔検出およびランドマーク精度に与える影響を評価すること。
• コンテキストモジュールのアーキテクチャ設計が性能に顕著な影響を及ぼすのか、それともランダム初期化の影響が支配的であるのかを特定すること。
• 軽量で効率的なモデルを用いて、WIDER FACEで最先端またはその近辺の性能を達成すること。
• 最適化されたバックボーンを組み合わせた小型モデルが、より大規模で重いネットワークを上回る精度と速度を達成できることを示すこと。

提案手法

• モデルは、入力画像からマルチスケール特徴を抽出するために6層の特徴マップピラミッドを備えた1段階型RCNNを採用する。
• 精度と推論速度のバランスを図るため、3つのバックボーンネットワーク（MobileNetV2-25、MobileNetV2-100、ResNet101）を用いる。
• 8種類のコンテキストモジュールアーキテクチャを評価：先行研究からの4種類と、それらを変更した4種類で、いずれも特徴マップピラミッドに追加される。
• 顔のランドマーク予測は、WIDER FACEデータセット上で検出ヘッドとエンドツーエンドに訓練されたヘッドブランチを用いて実行される。
• 推論速度の最適化には、CPU、GPU、組み込み型、モバイルデバイスを含む多様なハードウェアでCUDAアクセラレーションを活用したTVMおよびMxNetが使用される。
• モデルはデータオーグメンテーションやトランスファーラーニングを一切用いずに、WIDER FACEデータセットに限定して訓練される。

実験結果

リサーチクエスチョン

• RQ1 コンテキストモジュールアーキテクチャの選択が顔検出またはランドマーク位置特定の性能に顕著な影響を及えるか？
• RQ2 軽量なMobileNetV2ベースのモデルが、WIDER FACEのハードセットで最先端の性能を達成し、リアルタイムで動作可能か？
• RQ3 特徴マップおよびコンテキストモジュール内の追加レイヤーのランダム初期化が、モデル性能に及ぼす影響はどの程度か？
• RQ4 ランドマーク回帰の統合が、検出精度およびモデル効率に与える影響は？
• RQ5 適切なバックボーン選択と組み合わせた場合、単純なコンテキストモジュールアーキテクチャがより複雑な構造を上回る性能を示せるか？

主な発見

• ResNet101バックボーンを用いたモデルは、WIDER FACEのハードバリデーションセットで91.7%の平均適合率（AP）を達成し、最先端性能に近い結果を得た。
• MobileNetV2-100モデルは、モバイルおよび組み込みデバイスでリアルタイムで動作しながら、WIDER FACEのハードセットで90%を超える平均適合率を達成した。
• 8種類のコンテキストモジュールアーキテクチャ間で顕著な性能差は認められず、ランダム初期化の影響がアーキテクチャ設計の影響を上回ることが示唆された。
• 大きなバックボーン（例：ResNet152）は、小さなバックボーンよりも顔のランドマークmAEが低く（AFLWで0.87 ± 0.67 × 10⁻²）、モデルサイズとランドマーク精度の強い相関があることが示された。
• 最小のモデル（MobileNetV2-25）は、AFWで1.06 ± 1.11 × 10⁻² mAE、AFLWで1.80 ± 2.39 × 10⁻² mAEを達成し、AFLWでMTCNN（3.64 ± 2.23 × 10⁻²）を上回った。
• VGA入力に対しては、EXTDより34–41 ms高速に動作し、より遅いGPUでもRefineFaceより6 ms速く、精度は同等または上回った。