[論文レビュー] Face Frontalization Based on Robustly Fitting a Deformable Shape Model to 3D Landmarks

Zhiqi Kang, Mostafa Sadeghi+1 more|arXiv (Cornell University)|Oct 26, 2020

Face recognition and analysis参考文献 32被引用数 4

ひとこと要約

本稿では、3次元顔ランドマーク間の剛体変換（スケール、回転、並進）と非剛性変形を同時に推定することで、顔の正面化に向けたロバストな3次元点群アライメント手法を提案する。非定常誤差と外れ値をモデル化するために一般化されたスルーデントのt分布を用い、EMアルゴリズムによりピクセル単位のワーピングを実現し、プロファイルから正面への顔データセットにおいて、ゼロ平均正規化相互相関（ZNCC）で測定された最先端の性能を達成する。

ABSTRACT

Face frontalization consists of synthesizing a frontally-viewed face from an arbitrarily-viewed one. The main contribution of this paper is a robust face alignment method that enables pixel-to-pixel warping. The method simultaneously estimates the rigid transformation (scale, rotation, and translation) and the non-rigid deformation between two 3D point sets: a set of 3D landmarks extracted from an arbitrary-viewed face, and a set of 3D landmarks parameterized by a frontally-viewed deformable face model. An important merit of the proposed method is its ability to deal both with noise (small perturbations) and with outliers (large errors). We propose to model inliers and outliers with the generalized Student's t-probability distribution function, a heavy-tailed distribution that is immune to non-Gaussian errors in the data. We describe in detail the associated expectation-maximization (EM) algorithm that alternates between the estimation of (i) the rigid parameters, (ii) the deformation parameters, and (iii) the Student-t distribution parameters. We also propose to use the zero-mean normalized cross-correlation, between a frontalized face and the corresponding ground-truth frontally-viewed face, to evaluate the performance of frontalization. To this end, we use a dataset that contains pairs of profile-viewed and frontally-viewed faces. This evaluation, based on direct image-to-image comparison, stands in contrast with indirect evaluation, based on analyzing the effect of frontalization on face recognition.

研究の動機と目的

• 任意のビューから正面ビューへのピクセル単位のワーピングを可能にする、顔の正面化のためのロバストな手法の開発。
• 重い尾を持つ統計的モデルを用いて、3次元顔ランドマークアライメントにおけるノイズと外れ値の両方に対処すること。
• 認識ベースの評価とは対照的に、画像レベルの指標を用いた正面化品質の直接的評価を提供すること。
• 期待最大化フレームワークを用いた統合最適化により、正確な剛体および非剛性パラメータ推定を可能にすること。

提案手法

• 非定常誤差と外れ値をモデル化するために、一般化されたスルーデントのt確率分布を用い、非ガウス分布と重い尾を持つデータに対してロバストである。
• 期待最大化（EM）アルゴリズムを採用し、反復的に剛体パラメータ（スケール、回転、並進）、変形パラメータ（形状係数）、およびt分布パラメータ（自由度、位置、スケール）を推定する。
• 主成分分析（PCA）ベースを用いた平均形状とパラメータ化された統計的形状モデルを用い、非剛性顔の変形を表現する。
• 正面化された顔と真値の正面顔との間のゼロ平均正規化相互相関（ZNCC）を、直接的で画像レベルの評価指標として用いる。
• 三角形メッシュ補間を用いて、正面化された3次元形状モデルから密度のある深度マップを再構築し、ピクセル単位のワーピングを可能にする。
• 変形空間の正則化とロバストネスの向上を目的として、形状パラメータに99%信頼楕円体制約を統合する。

実験結果

リサーチクエスチョン

• RQ1 ロバストな3次元点群アライメント手法は、顔ランドマークデータにおけるノイズと外れ値の両方を効果的に処理し、正確な顔の正面化を実現できるか？
• RQ2 一般化されたスルーデントのt分布を用いて非定常誤差と外れ値をモデル化することで、ガウス分布ベースの手法と比較して、アライメント精度がどの程度向上するか？
• RQ3 直接的な画像同士の類似度で測定した場合、本手法はどの程度ピクセル単位のワーピングを達成できるか？
• RQ4 EMを用いた剛体ポーズと非剛性変形の統合推定は、最先端の手法と比較して、より優れた正面化結果をもたらすか？

主な発見

• 提案手法は、プロファイルから正面への顔データセットにおいて、2つの最先端手法と比較して高いゼロ平均正規化相互相関（ZNCC）スコアを達成しており、画像レベルでの正面化品質が優れていることを示している。
• 一般化されたスルーデントのt分布の使用により、3次元ランドマークデータにおける外れ値と非ガウス誤差に対するロバストネスが顕著に向上した。
• EMベースの最適化フレームワークは、剛体ポーズ、非剛性変形、統計的モデルパラメータを同時に推定する安定した解に収束した。
• 形状パラメータに99%信頼楕円体制約を組み込むことで、正面化された顔の形状の安定性と現実性が向上した。
• ZNCCを用いた直接評価により、認識ベースの評価とは対照的に信頼性の高い画像レベルのベンチマークが提供された。