[論文レビュー] Pose-Invariant 3D Face Alignment

Amin Jourabloo, Xiaoming Liu|arXiv (Cornell University)|Jun 11, 2015

Face recognition and analysis参考文献 38被引用数 27

ひとこと要約

本論文は、任意のアングル（最大±90°のヨー角）における顔画像に対して、2次元／3次元顔ランドマークとその2次元可視性状態を推定する、3次元可変モデルと統合された段階的カップルレジレッサー枠組みを提案する。3次元表面法線を用いた自動可視性予測と、カメラ投影行列と3次元形状パラメータを同時に回帰することで、最先端の2次元アライメント精度を達成し、大規模な全アングルデータセットにおける3次元ランドマーク推定の定量的ベンチマークを初めて提供した。既存手法に比べ優れた性能を示した。

ABSTRACT

Face alignment aims to estimate the locations of a set of landmarks for a given image. This problem has received much attention as evidenced by the recent advancement in both the methodology and performance. However, most of the existing works neither explicitly handle face images with arbitrary poses, nor perform large-scale experiments on non-frontal and profile face images. In order to address these limitations, this paper proposes a novel face alignment algorithm that estimates both 2D and 3D landmarks and their 2D visibilities for a face image with an arbitrary pose. By integrating a 3D deformable model, a cascaded coupled-regressor approach is designed to estimate both the camera projection matrix and the 3D landmarks. Furthermore, the 3D model also allows us to automatically estimate the 2D landmark visibilities via surface normals. We gather a substantially larger collection of all-pose face images to evaluate our algorithm and demonstrate superior performances than the state-of-the-art methods.

研究の動機と目的

• 任意のアングル、特に非正面およびサイドビューを含む状況に対応できる強力な顔アライメント手法の不足に対処すること。
• 2次元および3次元顔ランドマークに加え、その2次元可視性状態を同時に推定する統合フレームワークの開発。
• 3次元表面法線を用いた自動可視性推定により、アングルに依存しないアライメントのロバスト性を向上させること。
• 従来の研究で用いられたものよりもはるかに大きな規模の全アングル顔画像データセットを用いて性能を評価すること。
• BP4D-SデータセットにおけるMAPEを報告することで、3次元顔アライメントの定量的ベンチマークを提供すること。

提案手法

• 段階的カップルレジレッサー構造を設計し、各段階で2つのレジレッサーを交互に訓練：1つはカメラ投影行列の更新、もう1つは3次元形状パラメータの更新。
• 3次元可変モデル（3DMM）により幾何的制約が提供され、変換された表面法線のz成分が正かどうかをチェックすることで自動可視性推定が可能になる。
• 可視性予測がレジレッサーの学習に動的に統合され、可視ランドマークのみが外見ベースの更新に寄与するよう保証される。
• 平均3次元形状を初期化として用い、真値との差分に従って反復的レジレッサーによって形状を精緻化する。
• フレームワークは、広いヨー角範囲をカバーするAFLWデータセットの大規模サブセットおよびAFWデータセット上で訓練・評価された。
• 3次元ランドマーク推定は、3次元平均形状をベースラインとして、Mean Absolute Per-landmark Error（MAPE）を用いて定量的に評価された。

実験結果

リサーチクエスチョン

• RQ1 回帰ベースの手法が、任意のアングル下で2次元および3次元顔ランドマークとその2次元可視性状態を同時に推定できるか？
• RQ2 3次元表面法線を用いた2次元投影におけるランドマーク可視性の自動推定は、どの程度有効か？
• RQ3 3次元可変モデルを統合することで、2次元のみの手法に比べ、多様なアングルにおいてアライメント精度が向上するか？
• RQ4 実世界の全アングルデータセットにおける3次元ランドマーク推定の性能は何か？また、3次元平均形状ベースラインと比較してどうか？
• RQ5 提案手法は、極端なアングル変動を伴う大規模データセットにおいて、高い精度と効率を達成できるか？

主な発見

• AFLWデータセットでは、2次元正規化平均誤差（NME）が6.5に達し、RCPR（8.5）および他の最先端手法を上回った。
• AFWデータセットでは、NMEが8.6に達し、挑戦的なサイドビューおよび非正面ビューにおいても一貫した優位性を示した。
• 3次元ランドマーク推定では、Mean Absolute Per-landmark Error（MAPE）が4.75に達し、3次元平均形状ベースライン（5.02）に比べ顕著な改善を示した。
• 3次元表面法線を用いた可視性推定は、学習プロセスに動的に統合されたことで、高い正確性で実現された。
• 最適化されていない実装でも3.0 FPSで実行可能であり、C言語による最適化でさらなる性能向上が見込まれる、実用的な計算効率を示した。
• 定性的な結果から、極端なサイドビューを含む多様なアングルにおいても、正確な可視性予測と高精度なランドマーク局所化が可能であることが確認された。