[論文レビュー] CNN-based Real-time Dense Face Reconstruction with Inverse-rendered Photo-realistic Face Images

Yudong Guo, Juyong Zhang+3 more|arXiv (Cornell University)|Aug 3, 2017

Face recognition and analysis参考文献 48被引用数 5

ひとこと要約

本論文は、逆レンダリングとマルチスケールディテールトランスファーを用いて生成された新しいフォトリアリスティックなデータセットを活用し、リアルタイムでCNNベースの高密度3D顔再構成フレームワークを提案する。大規模かつ多様な訓練データ上で粗くから細かくまでのネットワークアーキテクチャを訓練することで、計算量を低減しつつ高精細な再構成を実現し、ポーズ、表情、照明の変化に対してもロバストである。幾何学的正確性とディテール保持性において、最先端の手法を上回る性能を発揮する。

ABSTRACT

With the powerfulness of convolution neural networks (CNN), CNN based face reconstruction has recently shown promising performance in reconstructing detailed face shape from 2D face images. The success of CNN-based methods relies on a large number of labeled data. The state-of-the-art synthesizes such data using a coarse morphable face model, which however has difficulty to generate detailed photo-realistic images of faces (with wrinkles). This paper presents a novel face data generation method. Specifically, we render a large number of photo-realistic face images with different attributes based on inverse rendering. Furthermore, we construct a fine-detailed face image dataset by transferring different scales of details from one image to another. We also construct a large number of video-type adjacent frame pairs by simulating the distribution of real video data. With these nicely constructed datasets, we propose a coarse-to-fine learning framework consisting of three convolutional networks. The networks are trained for real-time detailed 3D face reconstruction from monocular video as well as from a single image. Extensive experimental results demonstrate that our framework can produce high-quality reconstruction but with much less computation time compared to the state-of-the-art. Moreover, our method is robust to pose, expression and lighting due to the diversity of data.

研究の動機と目的

• 深く詳細な幾何学的特徴を備えた大規模でフォトリアリスティックな3D顔データセットの不足を解消するため。
• 単眼動画および単一画像から、深層学習を用いてリアルタイムで高品質な高密度3D顔再構成を実現するため。
• 従来のCNNベースの手法が合成された非フォトリアリスティックなデータや精度が限られた非教師あり損失関数に依存するという制限を克服するため。
• 逆レンダリングとディテールトランスファーを用いて、ポーズ、表情、照明が異なる多様なリアルな顔画像を生成する訓練データパイプラインを開発するため。
• リアルタイムで幾何学、アルベド、照明、ポーズを同時に推定できる粗くから細かくまでのネットワークアーキテクチャを構築するため。

提案手法

• 本手法は、実写写真を出発点とし、ポーズ、表情、照明パラメータを変更することで最適化ベースの逆レンダリングプロセスを用いて大規模なフォトリアリスティックな顔画像を生成する。
• 新規のディテールトランスファー技術により、高解像度のソース画像からターゲット画像へとマルチスケールの顔面ディテール（例：しわ）を転送し、細部にまでこだわった3D顔モデルの作成を可能にする。
• 訓練データセットには、粗いスケールおよび細かいスケールのフォトリアリスティックな顔画像に加え、実際の動画のダイナミクスを模倣するためのシミュレートされた動画フレームペアが含まれる。
• 単一画像コarsenet、トラッキングコアスネット、ファインネットの3段階のCNNフレームワークを提案し、単一画像または単眼動画からのエンドツーエンドでリアルタイムな再構成を実現する。
• 訓練の安定性と正確性を向上させるために、ポーズと幾何学的再構成誤差（それぞれℒ_poseとℒ_geoとして定義）を組み合わせた損失関数を採用し、標準的なMSEや頂点距離メトリクスを凌駕する。
• 本フレームワークは、2D画像、3D粗いモデル、3D細かいモデル、マルチビュー顔データを含む大規模なデータセットを用いて訓練され、GitHubを通じて公開されている。

実験結果

リサーチクエスチョン

• RQ1 実写写真の逆レンダリングによって生成されたフォトリアリスティックな訓練データは、パrametricモデルに基づく合成よりも、より正確な3D顔再構成を可能にするか？
• RQ2 しわなどのマルチスケールの顔面ディテールを画像間で効果的に転送することは、3D再構成における細粒度の幾何学的特徴を向上させるのに有効か？
• RQ3 多様でリアルなデータで訓練された粗くから細かくまでのCNNアーキテクチャは、リアルタイム性能を維持しながらも、幾何学的および外観再構成の正確性を高められるか？
• RQ4 提案された損失関数（ℒ_poseとℒ_geo）は、標準的なMSEや頂点距離メトリクスと比較して、再構成品質の向上にどのように寄与するか？
• RQ5 訓練データの多様性（ポーズ、表情、照明）は、動画および単一画像入力における実世界の変化に対するロバストネスをどの程度向上させるか？

主な発見

• 提案手法は[42]と比較して顕著に低いテスト誤差を達成し、ℒ_poseは26.35から7.69に、ℒ_geoは5.53から4.23に低下し、訓練収束性と正確性の向上を示した。
• FRGC V2データセットのSpring2004rangeサブセットにおいて、RMSEは4.915 mm、MAEは3.846 mmを達成し、両方の指標で[61]および[60]を上回った。
• 図16の可視的比較では、本手法は[42]、[3]、[24]、[46]、[14]と比較して、より正確なグローバルな幾何学的形状と、より繊細な顔面ディテール（例：しわ）を再構成していることが示された。
• 本手法はリアルタイムで動作し、単眼動画および単一画像からのオンライン再構成を可能にし、最適化ベースの最先端手法と比較して著しく計算時間を短縮した。
• 訓練データに多様なパラメータとシミュレートされた動画シーケンスが含まれているため、ポーズ、表情、照明の変化に対して本手法はロバストである。
• 2D画像、3D粗いモデルと細かいモデル、マルチビューデータを含む公開済みデータセットは、今後の顔分析、顔認識、正規化分野の研究に貢献することが期待される。