[論文レビュー] Face Detection, Bounding Box Aggregation and Pose Estimation for Robust Facial Landmark Localisation in the Wild

Zhenhua Feng, Josef Kittler+3 more|arXiv (Cornell University)|May 5, 2017

Face recognition and analysis参考文献 54被引用数 6

ひとこと要約

本論文は、非制約的環境における頑健な顔ランドマーク検出のための粗くから細かくまでのフレームワークを提案する。複数のCNNベースの顔検出器を組み合わせ、ボクシングボックスの集約、段階的な形状回帰によるポーズ推定、および細分化されたランドマークの最適化を含む。本手法は300WおよびMenpoベンチマークで最先端の性能を達成し、第2回顔ランドマーク検出コンペティションにおいて、300W屋内＋屋外セットで正規化されたRMS誤差2.26を達成し、全参加者を上回った。

ABSTRACT

We present a framework for robust face detection and landmark localisation of faces in the wild, which has been evaluated as part of `the 2nd Facial Landmark Localisation Competition'. The framework has four stages: face detection, bounding box aggregation, pose estimation and landmark localisation. To achieve a high detection rate, we use two publicly available CNN-based face detectors and two proprietary detectors. We aggregate the detected face bounding boxes of each input image to reduce false positives and improve face detection accuracy. A cascaded shape regressor, trained using faces with a variety of pose variations, is then employed for pose estimation and image pre-processing. Last, we train the final cascaded shape regressor for fine-grained landmark localisation, using a large number of training samples with limited pose variations. The experimental results obtained on the 300W and Menpo benchmarks demonstrate the superiority of our framework over state-of-the-art methods.

研究の動機と目的

• ポーズ、照明、遮蔽の極端な変動が生じる非制約的環境における正確な顔ランドマーク検出の課題に対処すること。
• 複数の顔検出器の出力を集約することで顔検出の信頼性を向上させ、誤検出を低減し、検出の一貫性を高めること。
• 段階的形状回帰プロセスを粗くから細かくまでの段階に分離し、ポーズに配慮した前処理を施すことで、ランドマーク検出の正確性を向上させること。
• 実際の現場での展開を模倣するために、事前に提供された顔のボクシングボックスに依存せずに、ベンチマークデータセットで優れた性能を達成すること。
• Menpoおよび300Wベンチマークにおいて、既存の手法を上回ること。

提案手法

• 検出カバレッジの向上を目的として、2つの公開および2つの独自のCNNベースの顔検出器を用い、初期の顔検出を多様に生成する。
• 重複または矛盾する検出を統合するボクシングボックス集約戦略を適用し、誤検出を低減するとともに、局所化の一貫性を向上させる。
• 多様なポーズ変動をカバーするデータで訓練された段階的形状レグレッサーを用い、頭部ポーズを推定し、ランドマーク初期化のための画像前処理を実施する。
• ポーズ変動が限定されたデータで訓練された第二の段階的形状レグレッサーを用いて、細分化されたランドマーク検出を実施し、高精度な最適化を可能にする。
• 推論時に画像変換（回転／反転）を適用し、顔を標準的なポーズに合わせることで、回帰の正確性を向上させる。
• 形状回帰部に使用するHOGおよびLBP特徴量をVLFeatツールボックスを介して抽出する。

実験結果

リサーチクエスチョン

• RQ1 複数の顔検出器を組み合わせ、それらのボクシングボックスを集約することで、非制約的環境下での顔検出精度が著しく向上するか？
• RQ2 段階的形状回帰によるポーズ推定は、その後続のランドマーク検出の頑健性と正確性を向上させるか？
• RQ3 段階的形状回帰を粗くから細かくまでの段階に分割することで、特にポーズ変動下でもランドマーク検出の精度が向上するか？
• RQ4 標準ベンチマーク（300WおよびMenpo）において、本フレームワークは最先端の手法と比較してどのように性能を発揮するか？
• RQ5 Menpoベンチマークでは事前に提供されたボクシングボックスが存在しないため、その影響は何か。また、本フレームワークはその影響を効果的に補償できるか？

主な発見

• 提案フレームワークは、300W屋内＋屋外テストセットで正規化されたRMS誤差2.26を達成し、第2回顔ランドマーク検出コンペティションの全参加者を上回った。
• Menpoベンチマークでは、ベースラインのViola-Jones + APS手法を著しく上回り、特に半正面および側顔の変動に対処する能力が優れていた。
• 複数の顔検出器とボクシングボックス集約の活用により、誤検出が低減され、多様なテスト画像において検出の一貫性が向上した。
• 段階的回帰によるポーズ推定により、効果的な前処理が可能となり、ランドマーク初期化と全体の正確性が向上した。
• 粗くから細かくまでの段階的形状回帰戦略、特にポーズに特化した最適化により、優れたランドマーク検出精度が達成された。
• 本フレームワークは300WおよびMenpoベンチマークの両方で優れた汎化性能を示し、実世界の非制約的環境下での頑健性を確認した。