[論文レビュー] Joint Multi-view Face Alignment in the Wild

Jiankang Deng, George Trigeorgis+2 more|arXiv (Cornell University)|Aug 20, 2017

Face recognition and analysis参考文献 6被引用数 32

ひとこと要約

本論文は、制約のない環境下で顔の検出と顔面特徴点の局所化を同時に実行する、画期的な共同マルチビュー畳み込みニューラルネットワーク、Multi-view Hourglass Model (MHM) を提案する。顔の姿勢が極端に変化する状況下でも、半正面顔に対して68点、プロファイルに対して39点の顔面特徴点を高精度に検出する。粗くから細かくまで戦略を採用し、正面およびプロファイル顔を共同で学習することで、顔アラインメント、可変形状顔追跡（300VW）、顔検出（FDDB、MALF）の分野で最先端の性能を達成し、高精度での再現率を顕著に向上させた。

ABSTRACT

The de facto algorithm for facial landmark estimation involves running a face detector with a subsequent deformable model fitting on the bounding box. This encompasses two basic problems: i) the detection and deformable fitting steps are performed independently, while the detector might not provide best-suited initialisation for the fitting step, ii) the face appearance varies hugely across different poses, which makes the deformable face fitting very challenging and thus distinct models have to be used (\eg, one for profile and one for frontal faces). In this work, we propose the first, to the best of our knowledge, joint multi-view convolutional network to handle large pose variations across faces in-the-wild, and elegantly bridge face detection and facial landmark localisation tasks. Existing joint face detection and landmark localisation methods focus only on a very small set of landmarks. By contrast, our method can detect and align a large number of landmarks for semi-frontal (68 landmarks) and profile (39 landmarks) faces. We evaluate our model on a plethora of datasets including standard static image datasets such as IBUG, 300W, COFW, and the latest Menpo Benchmark for both semi-frontal and profile faces. Significant improvement over state-of-the-art methods on deformable face tracking is witnessed on 300VW benchmark. We also demonstrate state-of-the-art results for face detection on FDDB and MALF datasets.

研究の動機と目的

• 独立した顔検出と特徴点フィッティングの限界を解消し、初期化が不十分で、姿勢変化に一般化能力に欠ける問題を是正すること。
• 特に自己遮蔽領域を含むプロファイルおよび半正面顔における一貫性のない特徴点アノテーションの課題を克服すること。
• 大規模な姿勢変化にわたる顔面特徴点を一括して推定する統合されたディープラーニングフレームワークを構築し、ビュー別モデルを避けて計算コストを低減すること。
• 公開済みのトレーニングデータのみを用いて、顔検出および顔面特徴点局所化の両分野で最先端の性能を達成すること。
• 顔検出における誤検出（false positives）のロバスト性を向上させるために、共同マルチビュー応答マップを活用すること。

提案手法

• 粗くから細かくまで戦略を採用：まず、顔検出器が少数の特徴点を用いて粗い顔の形状を推定する。
• 類似変換（平行移動、回転、スケーリング）を除去した後、精緻な顔面特徴点を推定するためのリファインメントステップを実施する。
• 半正面およびプロファイル顔の両方の特徴点を1つのネットワーク内で同時に回帰する、画期的な Multi-view Hourglass Model (MHM) を提案する。
• 正面とプロファイル顔の形状間の構造的対応関係を活用することで、連続的な姿勢変化にわたる一般化性能を向上させる。
• 両ビューの共同学習により、共有表現を学習し、遮蔽および姿勢変化に対するロバスト性を向上させる。
• 顔検出における高スコアの誤検出を抑制するために、マルチビュー応答マップを用いる。これにより、高精度の閾値でも再現率が向上する。

実験結果

リサーチクエスチョン

• RQ1 制約のない画像において、大規模な姿勢変化にわたる顔の検出と多数の顔面特徴点の局所化を、1つのディープラーニングモデルが同時に実行可能か？
• RQ2 正面およびプロファイル顔の共同学習により、一般化性能が向上し、ビュー別モデルの必要性が低下するか？
• RQ3 共有特徴学習を活用した粗くから細かくまで戦略が、特徴点局所化の精度と遮蔽・姿勢変化に対するロバスト性を向上させるか？
• RQ4 共同マルチビュー応答マップは、高精度での顔検出再現率をどの程度向上させるか？
• RQ5 ベンチマークデータセット上で、提案手法は最先端の顔検出および特徴点局所化手法と比較して、どのように差をつけるか？

主な発見

• 99.9%の精度率において、提案手法は顔検出の再現率をベースラインの65.1%から84.5%まで向上させ、HR-ER や Conv3D を顕著に上回った。
• 99%の精度率において、再現率は89.9%から90.5%に向上し、高精度フィルタリングに対するロバスト性を示した。
• 300VWベンチマークにおいて、可変形状顔追跡分野で最先端の性能を達成し、大規模な姿勢変化を含むシーケンスで既存手法を上回った。
• FDDBデータセットにおいて、91%の精度で97.76%の再現率を達成し、HeadHunter や ACF、DPM といったオフザシェル検出器を上回った。
• MALFデータセットにおいて、学術的および商業的顔検出器の中で最高の性能を発揮した。特に、ヨー角が40°を超える困難なシーケンスおよび大規模な姿勢変化を含むサブセットで顕著な優位性を示した。
• 共同マルチビュー応答マップを活用することで誤検出を低減し、97.1%の精度で94.8%の再現率を達成。大規模な姿勢変化データにおいて、DenseBox を上回った。