[論文レビュー] FaceScape: 3D Facial Dataset and Benchmark for Single-View 3D Face Reconstruction

Hao Zhu, Haotian Yang+8 more|arXiv (Cornell University)|Nov 1, 2021

Face recognition and analysis被引用数 7

ひとこと要約

本論文は、847名の被験者から得られた16,940体の高精細なテクスチャ付き3次元顔モデルを含む大規模な3次元顔データセットFaceScapeを紹介する。各被験者は20の表情で撮影され、毛穴レベルの幾何形状を有する。本研究では、1枚の画像から可動可能で表情に特化した3次元顔モデルを予測する2段階のディーブラーニング手法を提案し、動的ディテールの正確な合成を実現し、屋内および屋外の両方の評価を含む、単一視点3次元顔再構成分野における新しいベンチマークを確立した。

ABSTRACT

In this paper, we present a large-scale detailed 3D face dataset, FaceScape, and the corresponding benchmark to evaluate single-view facial 3D reconstruction. By training on FaceScape data, a novel algorithm is proposed to predict elaborate riggable 3D face models from a single image input. FaceScape dataset releases $16,940$ textured 3D faces, captured from $847$ subjects and each with $20$ specific expressions. The 3D models contain the pore-level facial geometry that is also processed to be topologically uniform. These fine 3D facial models can be represented as a 3D morphable model for coarse shapes and displacement maps for detailed geometry. Taking advantage of the large-scale and high-accuracy dataset, a novel algorithm is further proposed to learn the expression-specific dynamic details using a deep neural network. The learned relationship serves as the foundation of our 3D face prediction system from a single image input. Different from most previous methods, our predicted 3D models are riggable with highly detailed geometry under different expressions. We also use FaceScape data to generate the in-the-wild and in-the-lab benchmark to evaluate recent methods of single-view face reconstruction. The accuracy is reported and analyzed on the dimensions of camera pose and focal length, which provides a faithful and comprehensive evaluation and reveals new challenges. The unprecedented dataset, benchmark, and code have been released at https://github.com/zhuhao-nju/facescape.

研究の動機と目的

• 単一視点3次元顔再構成手法の学習および評価に適した、詳細な幾何形状と表情の変動を有する大規模で高品質な3次元顔データセットの不足を解消すること。
• 1枚の画像から、動的幾何形状（例：しわ）を捉えた詳細で可動可能な3次元顔モデルを予測する手法を開発すること。
• 屋内および屋外のデータを含み、正確な真値幾何形状を有する、単一視点3次元顔再構成手法の包括的なベンチマークを確立すること。
• 変位マップベースの表現を用いて、表情に特化した動的ディテールの学習を可能とし、予測された3次元顔のリアリズムと可動性を向上させること。
• 研究の促進を目的として、非営利研究を対象にデータセットとベンチマークを公開すること。

提案手法

• FaceScapeデータセットは、68台の高密度カメラアレイを用いて、毛穴レベルの幾何形状を有する高解像度3次元顔スキャンを取得し、0.2mm未満のサブミリメートル精度を確保する。
• 生のスキャンは、粗い形状のためのトポロジカルに均一な（TU）モデルと、詳細のための変位マップに処理され、被験者間で一貫したトポロジカル構造が保証される。
• TUモデルを用いて、アイデンティティおよび表情の次元でバイリニア3次元モーファブルモデルを構築し、従来手法に比べて表現能力を向上させる。
• 2段階のディーブラーニングパイプラインを提案：まず2次元顔の特徴点を用いて粗いメッシュを適合させ、次にニューラルネットワークにより表情固有の変位マップを予測する。
• 動的ディテールは学習済み変位マップの線形結合としてモデル化され、予測された3次元顔が、未観測のしわを含む任意の表情にリグ可能になる。
• ベンチマークには屋内および屋外のデータが含まれ、真値形状が0.2mm以内に一致させられており、カメラの姿勢、焦点距離、表情の正確性の評価が可能である。

実験結果

リサーチクエスチョン

• RQ1 1つの被験者に対して20の表情と毛穴レベルの幾何形状を有する大規模で高精細な3次元顔データセットは、より正確で現実的な単一視点3次元顔再構成を可能にするか？
• RQ2 深層学習を用いて、1枚の画像からしわなどの動的顔面ディテールを効果的にモデル化・予測することは可能か？
• RQ3 学習済みの変位マップ表現は、多様な顔の表情にわたる可動可能な3次元顔モデルをどの程度サポートできるか？
• RQ4 正確な真値と多様な条件下を有する本研究のベンチマークは、単一視点3次元顔再構成分野における新たな課題をどのように明らかにするか？
• RQ5 現在の手法は側面や中規模の幾何形状をどのように処理しているのか、その限界は何か、そしてそれらをどのように克服できるか？

主な発見

• FaceScapeは、847名の被験者から得られた16,940体の高精細3次元顔モデルを含み、各被験者は20の表情で撮影され、68台の高密度カメラアレイを用いてサブミリメートル精度（<0.2mm）で取得された。
• 提案された2段階手法は、表情固有の変位マップを学習することで、未観測のしわを含む正確な動的ディテールを有する可動可能な3次元顔モデルを成功裏に予測した。
• FaceScapeから構築されたバイリニア3次元モーファブルモデルは、アイデンティティおよび表情の両方における形状モデリング能力が向上し、従来手法を上回った。
• ベンチマークでは、屋内および屋外のデータに対して14の最近の手法が評価され、特に制約のない条件下でカメラの姿勢、焦点距離、表情の正確性に関する課題が明らかになった。
• 本手法は側面の顔に対して性能が低下し、中規模の幾何形状に対しても困難を示しており、一般化能力および幾何的正確性の向上に余地があることが示された。
• データセットとベンチマークは非営利研究を対象に公開されており、コードとデータは https://github.com/zhuhao-nju/facescape.git で入手可能である。