[論文レビュー] 3D Facial Expression Reconstruction using Cascaded Regression

Fanzi Wu, Songnan Li+3 more|arXiv (Cornell University)|Dec 10, 2017

Face recognition and analysis参考文献 1被引用数 6

ひとこと要約

本論文は、ランドマークのずれ（LD）特徴量とHOGを用いた段階的回帰フレームワークを提案し、ポーズ、表情、照明の変化に対しても頑健な3次元顔の表情再構成を実現する。本手法は、反復的精錬を用いて3DMMパラメータとマッピング行列を同時に回帰することで、最先端の手法よりも高い忠実度の3次元顔形状を再構成する。

ABSTRACT

This paper proposes a novel model fitting algorithm for 3D facial expression reconstruction from a single image. Face expression reconstruction from a single image is a challenging task in computer vision. Most state-of-the-art methods fit the input image to a 3D Morphable Model (3DMM). These methods need to solve a stochastic problem and cannot deal with expression and pose variations. To solve this problem, we adopt a 3D face expression model and use a combined feature which is robust to scale, rotation and different lighting conditions. The proposed method applies a cascaded regression framework to estimate parameters for the 3DMM. 2D landmarks are detected and used to initialize the 3D shape and mapping matrices. In each iteration, residues between the current 3DMM parameters and the ground truth are estimated and then used to update the 3D shapes. The mapping matrices are also calculated based on the updated shapes and 2D landmarks. HOG features of the local patches and displacements between 3D landmark projections and 2D landmarks are exploited. Compared with existing methods, the proposed method is robust to expression and pose changes and can reconstruct higher fidelity 3D face shape.

研究の動機と目的

• 単一のRGB画像からの3次元顔の表情再構成という課題に取り組む。これは、遮蔽、照明、テクスチャの変動のため、不適切に定式化された問題である。
• 反復的最適化に依存し、表情やポーズの変化に敏感である既存の3DMMフィッティング手法の限界を克服する。
• ランドマークのずれ（LD）という新しいハイレベル特徴量を導入することで、スケール、回転、照明の変動に頑健な学習ベースの手法を開発する。
• 学習ベースの3次元再構成手法の公平な評価を可能にするために、3DMMパラメータと対応する3次元メッシュを含む標準化された3次元顔データセットを提供する。
• Bosphorusデータセットの4,666枚の訓練画像のみを用いて、未観測の個人や表情に対しても一般化が良好にできる正確で頑健な3次元顔再構成を実現する。

提案手法

• 忠実なランドマーク検出アルゴリズムにより検出された2次元顔ランドマークを用いて、3DMMパラメータとマッピング行列を初期化する。
• 局所的な画像パッチからのHOG特徴量とランドマークのずれ（LD）を統合したジョイント特徴量を導入し、照明や変換変化に対して頑健な意味的および幾何的情報を符号化する。
• 残差が現在の3DMMパラメータと真値との間で推定され、それが形状とマッピング行列の反復的精錬に用いられる段階的回帰フレームワークを採用する。
• マッピング行列を直接更新された3次元形状と2次元ランドマークから推定することで、データ依存性を低減し、一般化性能を向上させる。
• 最適化中の効率的で一貫性のある3次元から2次元へのマッピングのために、正射影を用いる。
• BosphorusおよびFaceWarehouseから得た3DMMパラメータと3次元メッシュを含む3次元顔データベースを訓練および評価に活用し、真値の対応関係を保証する。

実験結果

リサーチクエスチョン

• RQ1 ランドマークのずれとHOG特徴量を用いた段階的回帰フレームワークは、ポーズや表情の変化に対しても3次元顔の表情再構成の頑健性を向上させることができるか？
• RQ2 提案されたジョイント特徴量（HOG + LD）は、従来の特徴量と比較して、照明および幾何的変化の処理においてどのように優れているか？
• RQ3 限定的なデータセット（4,666枚）で学習したモデルが、未観測データセットにおける多様な個人や表情にどの程度一般化できるか？
• RQ4 マッピング行列を回帰するのではなく直接推定することで、性能向上とデータ依存性の低減が達成できるか？
• RQ5 本手法は、非常に小さな訓練データセットのみを用いても、最先端の手法よりも高い再構成忠実度を達成できるか？

主な発見

• 本手法は、主な顔領域および全顔領域において、Zhuらや他の最先端手法よりも低いRMSEを達成し、真値メッシュ上での精度が向上している。
• 多様な個人や極端な表情に対しても、判別性の高い3次元顔形状を再構成でき、特に困難な表情における口の幾何形状を正確に捉えている。
• FRGC2データセットを用いたクロスデータセット評価により、照明の変動に対しても頑健であり、異なる被験者や表情において一貫した性能を示している。
• 114K～122K枚の画像で学習された深層学習ベースのベースライン（例：[23], [24]）でさえ、Bosphorusデータセットの4,666枚の訓練画像のみを用いた本手法に劣らない。
• ランドマークのずれ（LD）特徴量は、2次元ランドマークと3次元投影間の意味的および幾何的関係を符号化することで、頑健性を向上させている。
• 回帰ではなく直接マッピング行列を推定することで、過学習が低減され、特に訓練データが限られた状況でも一般化性能が向上している。