[論文レビュー] An Empirical Study of Recent Face Alignment Methods

Heng Yang, Xuhui Jia+2 more|arXiv (Cornell University)|Nov 16, 2015

Face recognition and analysis参考文献 43被引用数 31

ひとこと要約

本論文は、実用的な顔検出と新しい評価指標AUCαを用いて拡張された300W++データセットを用いて、最近の顔アラインメント手法のきめ細やかな実験的評価を提示する。AUCαは平均誤差よりも外れ値に敏感でない。研究では、モデルの性能が顔検出の品質に著しく依存することを明らかにした。また、一貫した設定で再訓練を行うことで、初期化戦略やカスケード深さといった、頑健性と精度に顕著に影響を与える要因を特定した。

ABSTRACT

The problem of face alignment has been intensively studied in the past years. A large number of novel methods have been proposed and reported very good performance on benchmark dataset such as 300W. However, the differences in the experimental setting and evaluation metric, missing details in the description of the methods make it hard to reproduce the results reported and evaluate the relative merits. For instance, most recent face alignment methods are built on top of face detection but from different face detectors. In this paper, we carry out a rigorous evaluation of these methods by making the following contributions: 1) we proposes a new evaluation metric for face alignment on a set of images, i.e., area under error distribution curve within a threshold, AUC$_α$, given the fact that the traditional evaluation measure (mean error) is very sensitive to big alignment error. 2) we extend the 300W database with more practical face detections to make fair comparison possible. 3) we carry out face alignment sensitivity analysis w.r.t. face detection, on both synthetic and real data, using both off-the-shelf and re-retrained models. 4) we study factors that are particularly important to achieve good performance and provide suggestions for practical applications. Most of the conclusions drawn from our comparative analysis cannot be inferred from the original publications.

研究の動機と目的

• 従来の研究における実験設定や評価指標、実装詳細の欠落による顔アラインメント評価の不整合を是正すること。
• 多様で実用的な顔検出を追加することで300Wデータセットを拡張し、より現実的なベンチマークを構築すること。
• 閾値内での誤差分布曲線の下側面積を測定することで、性能をよりよく捉える新しい評価指標AUCαを提案すること。
• 顔検出の変動（合成的および実際のもの）に対する顔アラインメント手法の感受性を包括的に分析すること。
• 初期化戦略やカスケード深さといった、モデルの頑健性と精度に影響を与える重要な設計要因についての実用的知見を提供すること。

提案手法

• Viola-Jones、IBUG、dlib、および深層畳み込みニューラルネットワーク回帰モデルから得られる複数種類の顔検出を追加することで、300Wデータセットを拡張し、実世界の検出ばらつきを模擬した。
• 平均誤差よりも外れ値に敏感でないAUCαを新しい評価指標として提案。AUCαは、閾値α内での誤差分布曲線の下側面積として定義される。
• オフザシェルモデルと同一のトレーニングプロトコルで再訓練したバージョンを含む、11種類の代表的な顔アラインメント手法を用いて広範な実験を実施した。
• 合成的感受性分析として、顔検出に人工的なノイズ（中心シフトとスケール変更）を注入し、頑健性を評価した。
• CFSS、TREES、SDM、ESRなどのトップパフォーマンスモデルを、同じデータ、増強法、トレーニング設定で再訓練し、公平な比較を可能にした。
• ESRのようなカスケード手法における初期化戦略（平均形状対ランダム）とカスケード深さを変化させ、統計的信頼性を得るために繰り返し試行を実施した。

実験結果

リサーチクエスチョン

• RQ1 顔検出の選択が、最先端の顔アラインメント手法のパフォーマンスにどのように影響するか？
• RQ2 従来の平均誤差指標は、顔アラインメントパフォーマンスの評価においてどれほど誤解を招く可能性があり、AUCαはより信頼できる単一値の指標を提供できるか？
• RQ3 一貫した設定で再訓練した場合、オフザシェルバージョンと比較して、顔アラインメントモデルの相対的パフォーマンス順位はどのように変化するか？
• RQ4 初期化戦略（例：平均形状対ランダム）が最終的なアラインメント精度と頑健性に与える影響は何か？
• RQ5 カスケードレベルの数を増加させることで、パフォーマンス、モデルサイズ、推論時間にどのような影響が生じるか？

主な発見

• AUCα指標は、外れ値誤差の影響を軽減し、実用的パフォーマンスをよりよく反映するため、平均誤差よりも頑健である。
• 顔検出のばらつき、特に中心シフトがアラインメントパフォーマンスに顕著な悪影響を与える。SDM や TREES は特に感受性が高かった。
• 同一設定で再訓練することで、トレーニングプロトコルの影響が顕著に現れることが明らかになった。例えば、TREESのAUC0.2はオフザシェル時（0.149）から再訓練時（0.123）に低下し、トレーニング差によるパフォーマンス差が示された。
• CFSSは、精度（AUC0.2）と検出ジャイターモデルに対する頑健性の両面で他のモデルを上回ったが、計算複雑性が高かった。
• 推論時に平均形状（MS）を初期化の一つとして使用することは、一貫して有益であり、4回のランダム初期化と同等の性能を達成しながら、4倍速くなった。
• カスケードレベル数を増加させることで、性能向上が継続的に見られ、ESR や TREES において10段階が精度と推論時間のバランスにとって良好なトレードオフを提供した。