[論文レビュー] SFace: An Efficient Network for Face Detection in Large Scale Variations

Jianfeng Wang, Ye Yuan+3 more|arXiv (Cornell University)|Apr 18, 2018

Face recognition and analysis参考文献 29被引用数 20

ひとこと要約

SFaceは、高解像度画像における極端なスケール変動に対応するため、アンカーベースとアンカーフリー手法を効率的に統合するハイブリッド顔検出ネットワークを提案する。RetinaNet風の局所化とUnitBox風の回帰を統合し、IOUに基づく再スコア化機構を導入することで、SFaceはWIDER FACEで約50FPSの速度で80.7%のAPを達成し、最先端の手法と比較して速度面で優れる一方で、競争力ある精度を維持する。

ABSTRACT

Face detection serves as a fundamental research topic for many applications like face recognition. Impressive progress has been made especially with the recent development of convolutional neural networks. However, the issue of large scale variations, which widely exists in high resolution images/videos, has not been well addressed in the literature. In this paper, we present a novel algorithm called SFace, which efficiently integrates the anchor-based method and anchor-free method to address the scale issues. A new dataset called 4K-Face is also introduced to evaluate the performance of face detection with extreme large scale variations. The SFace architecture shows promising results on the new 4K-Face benchmarks. In addition, our method can run at 50 frames per second (fps) with an accuracy of 80% AP on the standard WIDER FACE dataset, which outperforms the state-of-art algorithms by almost one order of magnitude in speed while achieves comparative performance.

研究の動機と目的

• 高解像度画像、特に4K超HDコンテンツにおける顔検出における大規模なスケール変動の課題に対処すること。
• 極端なスケール範囲に対応しにくく、タスク固有のアンカー設計を必要とする従来のアンカーベース手法の限界を克服すること。
• 局所化精度に欠ける傾向があるアンカーフリー手法の長所を、アンカーベース検出器の長所と統合することで、それを改善すること。
• 高解像度環境下での極端なスケール変動における顔検出器の系統的評価を可能にするために、新しいベンチマーク「4K-Face」を導入すること。
• 標準ベンチマークおよび新ベンチマークで高い精度を維持しつつ、リアルタイムの推論速度（50+ FPS）を達成すること。

提案手法

• 二重ブランチアーキテクチャを設計：一方のブランチはアンカーベース検出（RetinaNetを参考）で中〜大スケール（32×32から512×512）の正確な局所化を実現し、もう一方はアンカーフリー検出（UnitBoxを参考）で任意のサイズの顔を暗黙的に検出する。
• 二つのブランチからの信頼度スコアを統合するための新規IOUベースの再スコア戦略を適用し、予測の効果的かつ安定的な統合を可能にする。
• 特徴フュージョンネットワーク（FPN）をP3、P4、P5レイヤーを用いて多スケール特徴を処理し、最適なパフォーマンスを得るためにアンカーサイズを調整する。
• WIDER FACEデータセット上でエンドツーエンドにモデルを訓練し、WIDER FACEおよび新たに導入された4K-Faceベンチマークで評価する。
• 1080pおよび4K入力でもリアルタイム性能を達成できるよう、軽量なバックボーンネットワークを用いて推論速度を最適化する。
• 入力リサイズを用いたマルチスケール推論戦略を実装し、さまざまな入力解像度においても検出精度を維持する。

実験結果

リサーチクエスチョン

• RQ1 アンカーベースとアンカーフリー検出を統合したハイブリッドアーキテクチャは、顔検出における極端なスケール変動に対して性能向上をもたらすか？
• RQ2 二つの異なる検出ブランチからの信頼度スコアを統合するためにIOUベースの再スコア化機構はどの程度効果的か？
• RQ3 軽量でリアルタイムな顔検出器は、極端なスケール変動を伴う高解像度画像において、どの程度高い精度を維持できるか？
• RQ4 SFaceモデルは、スケール範囲全体にわたり、最先端の検出器と比較して速度、精度、耐性の面でどの程度優れているか？
• RQ5 新ベンチマーク（4K-Face）の導入が、超高解像度環境下での顔検出器の評価にどのような影響を与えるか？

主な発見

• SFaceはWIDER FACEのハードセットで80.7%のAPを達成し、RetinaNet（65.0%）とUnitBox（67.8%）を約10ポイント上回る平均APを実現した。
• 新たに導入された4K-Faceベンチマークでは、SFaceが65.39%のAPを達成し、RetinaNet（53.34%）とUnitBox（63.82%）を大きく上回った。
• IOUベースの再スコア化により、WIDER FACEにおけるAPは73.8%から80.7%に向上し、二重ブランチ出力の統合における有効性が裏付けられた。
• SFaceはWIDER FACEデータセット上で約50FPSで動作し、最先端の手法と比較して10倍の速度向上を達成しながらも、競争力ある精度を維持した。
• 1080p画像では約80FPS、2160p（4K）画像では約41ms（24FPS）の推論速度を達成し、高解像度動画におけるリアルタイム性能を実証した。
• アブレーションスタディにより、アンカーベースとアンカーフリーの両ブランチに加え再スコア化を組み合わせたアーキテクチャが最高のパフォーマンスを発揮することを確認し、相補的な設計の有効性が裏付けられた。