[論文レビュー] Joint 3D Face Reconstruction and Dense Alignment with Position Map Regression Network

Yao Feng, Fan Wu+3 more|arXiv (Cornell University)|Mar 21, 2018

Face recognition and analysis参考文献 52被引用数 84

ひとこと要約

論文はPRNを導入し、単一画像からUV位置マップを回帰して全3D顔ジオメトリを同時に再構成し、事前定義された顔モデルなしで密なアラインメントを提供するエンドツーエンドネットワークを提案する。リアルタイム性能（約9.8 ms）と最先端の結果を実現。

ABSTRACT

We propose a straightforward method that simultaneously reconstructs the 3D facial structure and provides dense alignment. To achieve this, we design a 2D representation called UV position map which records the 3D shape of a complete face in UV space, then train a simple Convolutional Neural Network to regress it from a single 2D image. We also integrate a weight mask into the loss function during training to improve the performance of the network. Our method does not rely on any prior face model, and can reconstruct full facial geometry along with semantic meaning. Meanwhile, our network is very light-weighted and spends only 9.8ms to process an image, which is extremely faster than previous works. Experiments on multiple challenging datasets show that our method surpasses other state-of-the-art methods on both reconstruction and alignment tasks by a large margin.

研究の動機と目的

• モデル制約なしで同時に3D顔再構成と密なアラインメントを実現する課題を解く。
• 効率的な学習のために2DのUV空間で完全な3D顔構造を表現する。
• 識別性の高い顔領域を重視する加重損失でトレーニングを改善する。
• 計算量を抑えたリアルタイムのフレームワークを、 unconstrained条件に適した形で提供する。

提案手法

• 3D座標をUV空間で記録し意味的な点対応を保持するUV位置マップを導入する。
• エンコーダ-デコーダCNNを用いて単一の2D画像からUV位置マップを一度の通過で回帰する。
• 68の顔ランドマークと中心部の facial regions を優先し首を低重み付けするマスクを伴う加重損失を採用する。
• 注釈付き3DMMパラメータからグランドトゥルースUVマップをレンダリングすることで300W-LP由来データで訓練する。
• 推論時に3DMMパラメータ回帰に依存せず、リアルタイム処理 (~9.8 ms per image on a GTX 1080) を実現するためにモデルの単純さを維持する。

実験結果

リサーチクエスチョン

• RQ1 モデルフリーのエンドツーエンドネットワークがUV位置マップを回帰して、単一画像から密な3D顔再構成と密な顔アラインメントの両方を実現できるか。
• RQ2 ディスクリミネーティブな facial regions を強調する加重損失は、均一損失と比べて再構成およびアラインメントの精度を改善するか。
• RQ3 難易度の高いin-the-wildデータセットでも、最先端の精度を維持しつつリアルタイム性能を達成できるか。

主な発見

• 本手法はAFLW2000-3DおよびFlorenceデータセットにおいて、複数のベースラインと比較して3D顔再構成と密なアラインメントの性能で優れた結果を達成している。
• PRNは100 FPS超で動作し、ネットワークサイズは160 MBで、VRN-Guidedなど競合手法と比較して大幅に小さく高速である。
• AFLW2000-3Dでは、PRNは2Dおよび3Dの密なアラインメント指標で最先端手法を大きく上回る。
• Florenceデータで、PRNは細部の再現性を高め、再構成のMean Error項においてVRN-Guidedより28.7%相対改善を達成する。
• アブレーション研究は、重量マスクを使用することで性能が向上し、重量比が疎結合および密なアラインメントの両方の結果に影響を与えることを示している。