[論文レビュー] High-Fidelity 3D Digital Human Creation from RGB-D Selfies

Xiangkai Lin, Yajing Chen+8 more|arXiv (Cornell University)|Oct 12, 2020

Face recognition and analysis参考文献 75被引用数 5

ひとこと要約

本論文では、30秒未塔で、消費者用RGB-Dセルフィービデオから高精細で写真並みの3Dデジタル人間を完全自動で作成するシステムを提示する。本研究では、表現力が向上した差分可能レンダリングベースの3DMMフィッティング手法と、ハイブリッドCNN-パrametricアプローチによる反射率合成を導入し、最先端の顔面幾何学的形状と詳細な忠実度を達成した。

ABSTRACT

We present a fully automatic system that can produce high-fidelity, photo-realistic 3D digital human characters with a consumer RGB-D selfie camera. The system only needs the user to take a short selfie RGB-D video while rotating his/her head, and can produce a high quality reconstruction in less than 30 seconds. Our main contribution is a new facial geometry modeling and reflectance synthesis procedure that significantly improves the state-of-the-art. Specifically, given the input video a two-stage frame selection algorithm is first employed to select a few high-quality frames for reconstruction. A novel, differentiable renderer based 3D Morphable Model (3DMM) fitting method is then applied to recover facial geometries from multiview RGB-D data, which takes advantages of extensive data generation and perturbation. Our 3DMM has much larger expressive capacities than conventional 3DMM, allowing us to recover more accurate facial geometry using merely linear bases. For reflectance synthesis, we present a hybrid approach that combines parametric fitting and CNNs to synthesize high-resolution albedo/normal maps with realistic hair/pore/wrinkle details. Results show that our system can produce faithful 3D characters with extremely realistic details. Code and the constructed 3DMM is publicly available.

研究の動機と目的

• 消費者用RGB-Dセルフィービデオから完全自動で高精細な3Dデジタル人間の再構築を可能にすること。
• 限られた入力データでも、毛穴、しわ、髪の毛などの顔面の微細な詳細を捉える課題に対処すること。
• より表現力が高く差分可能なフィッティングフレームワークを用いることで、従来の3DMMを上回る顔面幾何学的正確性を向上させること。
• ハイブリッドパラメトリックおよびディープラーニングアプローチを用いて、リアルな微細ディテールを含む高解像度のアルベドおよびノーマルマップを合成すること。
• 最小限のユーザー入力でリアルタイムに動作し、写真並みの結果を出力するシステムを提供すること。

提案手法

• 入力されたRGB-Dビデオから高品質なフレームを特定する2段階のフレーム選択アルゴリズムを採用する。
• マルチビューRGB-Dデータからの詳細な顔面幾何学的形状の回復に、新規の差分可能レンダリングベースの3Dモーファブルモデル（3DMM）フィッティング手法を用いる。
• 提案された3DMMは、従来の3DMMよりも顕著に大きな表現力を持つ線形基底を採用しており、複雑な最適化を伴わずにも正確な幾何学的形状回復が可能である。
• ハイブリッドな反射率合成パイプラインは、パラメトリックフィッティングと畳み込みニューラルネットワーク（CNN）を組み合わせ、高解像度のアルベドおよびノーマルマップを生成する。
• 3DMMフィッティング中に膨大なデータ生成と摂動を活用することで、耐障害性と詳細の正確性を向上させる。
• 全パイプラインはエンドツーエンドでトレーニング可能であり、消費者用ハードウェアでも30秒未塔で実行可能である。

実験結果

リサーチクエスチョン

• RQ1 単一の消費者用RGB-Dセルフィービデオから、完全自動で高精細な3D人間再構築が可能か？
• RQ2 線形基底のみに依存する3DMMを用いて、顔面幾何学的形状をより高い正確性で回復できるか？
• RQ3 ハイブリッドパラメトリックおよびCNNベースの手法は、毛穴やしわなどの微細ディテールにおいて、アルベドおよびノーマルマップのリアルさをどの程度向上できるか？
• RQ4 差分可能レンダリングをマルチビューRGB-Dデータに適用することで、3DMMフィッティングのパフォーマンスが向上するか？
• RQ5 最適化されたフレーム選択と高度な幾何学的・反射率モデリングを組み合わせた場合、得られる再構築品質と速度はどの程度か？

主な発見

• 本システムは、単一のRGB-Dセルフィービデオから30秒未塔で高品質な3Dデジタル人間キャラクターを生成する。
• 提案された差分可能レンダリングベースの3DMMフィッティング手法は、先行研究の最先端手法と比較して顕著に優れた顔面幾何学的正確性を達成した。
• 表現力が向上した3DMMは、線形基底のみを用いても正確な幾何学的形状回復が可能であり、最適化プロセスの簡素化を実現した。
• ハイブリッド反射率合成手法は、高解像度のアルベドおよびノーマルマップに、リアルな髪の毛、毛穴、しわのディテールを的確に捉えることに成功した。
• 本システムは微細な顔面ディテールにおいて優れたパフォーマンスを示し、最小限のユーザー入力で写真並みの結果を達成した。
• コードおよび構築された3DMMは公開されており、広範な研究および応用再利用を可能にしている。