[論文レビュー] MogFace: Rethinking Scale Augmentation on the Face Detector.

Yang Liu, Fei Wang+2 more|arXiv (Cornell University)|Mar 20, 2021

Face recognition and analysis参考文献 21被引用数 9

ひとこと要約

本稿では、訓練データ内の前景/背景の文脈とスケール情報の両方を統合的に活用することで、極端なスケール変動下でも頑健な顔検出器を実現する、MogFaceを提案する。スケール分布の最適化に基づくデータサンプリングにより、MogFaceはWider Faceにおける6つの上位結果も含め、すべての主要ベンチマークで最先端の性能を達成した。

ABSTRACT

Face detector frequently confronts extreme scale variance challenge. The famous solutions are Multi-scale training, Data-anchor-sampling and Random crop strategy. In this paper, we indicate 2 significant elements to resolve extreme scale variance problem by investigating the difference among the previous solutions, including the fore-ground and back-ground information of an image and the scale information. However, current excellent solutions can only utilize the former information while neglecting to absorb the latter one effectively. In order to help the detector utilize the scale information efficiently, we analyze the relationship between the detector performance and the scale distribution of the training data. Based on this analysis, we propose a Selective Scale Enhancement (SSE) strategy which can assimilate these two information efficiently and simultaneously. Finally, our method achieves state-of-the-art detection performance on all common face detection benchmarks, including AFW, PASCAL face, FDDB and Wider Face datasets. Note that our result achieves six champions on the Wider Face dataset.

研究の動機と目的

• 顔検出における極端なスケール変動という、実世界の応用で長年の課題に取り組む。
• 既存の手法が前景・背景の文脈を効果的に活用している一方で、訓練データ内のスケール情報の活用が不十分であることを特定する。
• 検出器の性能と訓練サンプルのスケール分布との関係を調査する。
• 訓練中に前景/背景の文脈とスケール情報を同時にかつ効率的に統合する手法を提案する。
• 複数の標準的な顔検出ベンチマークで最先端の性能を達成する。

提案手法

• スケール分布に基づいて訓練画像を選択的にサンプリングすることで、スケールばらつきをバランスさせる、選択的スケール強化（SSE）戦略を提案する。
• スケールに敏感なサンプリングを用いて、画像からの前景および背景の文脈を統合し、検出器の汎化性能を向上させる。
• 訓練データにおけるスケール分布が検出器性能に与える影響を分析し、サンプリング戦略の設計を支援する。
• 多様なスケール表現を優先しつつ、文脈の整合性を保持するデータサンプリングメカニズムを設計する。
• スケールバランスの取れた拡張データセットを用いて顔検出器を訓練し、極端なスケール変動に対する性能を向上させる。
• アーキテクチャの変更なしに、SSEをプラグイン型拡張戦略として既存の顔検出フレームワークに活用する。

実験結果

リサーチクエスチョン

• RQ1 訓練データのスケール分布が、極端なスケール変動下での顔検出器性能にどのように影響を与えるか？
• RQ2 スケールに敏感なデータサンプリングと比較して、前景および背景の文脈は、検出器の頑健性をどの程度向上させられるか？
• RQ3 訓練中に文脈とスケール情報を統合する統一戦略は、検出精度の向上に効果的に機能するか？
• RQ4 選択的スケール強化は、多様なベンチマークで一貫した性能向上をもたらすか？
• RQ5 マルチスケール学習において、スケールに敏感なサンプリングは、ランダムクロップやアンカーベースのサンプリングと比較して、どの程度寄与するか？

主な発見

• 提案された選択的スケール強化（SSE）戦略により、スケールと文脈情報を効果的に統合することで、顔検出器の性能が顕著に向上した。
• MogFaceは、AFW、PASCAL Face、FDDB、Wider Faceを含むすべての標準ベンチマークで最先端の結果を達成した。
• Wider Faceデータセットでは6つの上位結果を達成し、極端なスケール変動下でも優れた性能を示した。
• 分析の結果、訓練データにおけるスケール分布が検出器の精度に直接的かつ測定可能な影響を与えることが確認された。
• スケールに基づいて選択的にサンプリングすることで、従来の拡張戦略と比較して、小規模および大規模な顔の性能低下が軽減された。