[論文レビュー] Photo-Realistic Facial Details Synthesis from Single Image

Anpei Chen, Zhang Chen+4 more|arXiv (Cornell University)|Mar 26, 2019

Face recognition and analysis参考文献 63被引用数 24

ひとこと要約

本稿では、感情を反映したプロキシジオメトリと、条件付きGANを用いた深層顔面ディテールネットワーク（DFDN）を組み合わせることで、写真のようにリアルな顔面ディテールを生成する学習ベースの単一画像3D顔面再構築手法を提案する。366枚の高品質3Dスキャンと163,000枚の屋外画像を用いた教師ありおよび教師なし学習を統合することで、挑戦的な表情や照明条件下でも幾何的ディテール回復において最先端の結果を達成している。

ABSTRACT

We present a single-image 3D face synthesis technique that can handle challenging facial expressions while recovering fine geometric details. Our technique employs expression analysis for proxy face geometry generation and combines supervised and unsupervised learning for facial detail synthesis. On proxy generation, we conduct emotion prediction to determine a new expression-informed proxy. On detail synthesis, we present a Deep Facial Detail Net (DFDN) based on Conditional Generative Adversarial Net (CGAN) that employs both geometry and appearance loss functions. For geometry, we capture 366 high-quality 3D scans from 122 different subjects under 3 facial expressions. For appearance, we use additional 20K in-the-wild face images and apply image-based rendering to accommodate lighting variations. Comprehensive experiments demonstrate that our framework can produce high-quality 3D faces with realistic details under challenging facial expressions.

研究の動機と目的

• 単一の画像から、特に極端な顔の表情下でも、しわなどの細かなディテールを含む高精細な3D顔面ジオメトリを生成する課題に対処すること。
• 希なランドマークや限定的な3D事前知識に依存する既存手法が、過剰に滑らかになることや、不正確な表情モデリングを起こすという限界を克服すること。
• 実際の顔の統計とPCAベースのテンプレートを活用して、外見とジオメトリの両方の損失を組み合わせることで、幾何的ディテール再構築を向上させること。
• 屋外画像と球面調和関数を用いた環境照明推定により、教師なし学習ステージを導入することで、照明変動への耐性を高めること。
• 標準的なPBRレンダリングワークフローと互換性を持つディスplaceメントマップを生成することで、既存のレンダリングパイプラインへの統合を可能にすること。

提案手法

• ベースとしてバーゼル顔モデル（BFM）を採用し、深層学習による感情予測を用いて表情を反映した3Dプロキシ顔を生成することで、2Dランドマークではカバーできない領域の曇りを低減する。
• 条件付きGANに基づく深層顔面ディテールネットワーク（DFDN）を設計し、画像パッチを詳細なディスプレースメントマップにマッピングする。2本のブランチ構造を採用：中規模（PCA係数予測）と微細スケール（ディテールの最適化）。
• 366枚の高解像度3Dスキャンから抽出した10,000パッチを用いた教師あり損失でDFDNを訓練し、予測値と真値のディスプレースメントマップ間のL1誤差と知覚的差異を最小化する。
• 163,000枚の屋外画像を用いて訓練を拡張し、教師なし損失を適用：プロキシジオメトリと照明（球面調和関数を用いて）を推定し、再レンダリングを行い、画像再構成誤差を最小化する。
• 訓練中に教師ありジオメトリ損失と教師なし外見損失を交互に適用し、ジオメトリの正確性と写真的リアリズムの両方を同時に最適化する。
• 画像ベースレンダリングと球面調和関数を用いて、屋外画像における照明変動をモデル化し、多様な照明条件への一般化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 感情に配慮したプロキシ生成は、特に顔面ランドマークがカバーしない領域において、単一画像からの3D顔面再構築における曇りを軽減できるか？
• RQ2 GANベースのディテールネットワークは、極端な顔の表情下でも、しわや鼻唇溝のような微細な幾何的ディテールをどれほど正確に回復できるか？
• RQ3 教師ありと教師なし学習を組み合わせることで、屋外画像に対して真値ジオメトリが得られない状況下でも、多様な照明条件への一般化はどの程度効果的か？
• RQ4 予測されたディスプレースメントマップは、標準的なレンダリングパイプラインで効果的に使用可能であり、高精細で写真的リアリズムのある顔面再レンダリングを生成できるか？
• RQ5 顔の統計とPCAベースのテンプレートを統合することで、一般的な表面モデルに比べて、合成された皮膚ディテールのリアリズムと空間的一致性が向上するか？

主な発見

• 本手法は、Pix2vertex、FPD、Extreme3Dといった最先端手法と比較して、特に額、鼻唇溝、目の周囲といった領域で顕著に低い幾何的誤差を達成している。
• USC LightStageおよび自社で収集したキャプチャデータセットにおいて、特に鼻や眉毛の強い変形領域で、ディスプレースメントマップ誤差が顕著に低減されている。
• 教師なし学習ステージにより、屋外の照明条件への一般化が効果的に実現されており、真値ジオメトリが存在しないにもかかわらず、再レンダリング画像の外見的一致性が向上していることが裏付けられている。
• DFDNは、皮膚の空間相関を反映した自然なしわを生成し、単に照明モデルに依存する手法で見られる「ナイフカット状」のアーチファクトを回避している。
• ランドマークベースのアプローチがグローバルな文脈を欠くため、しばしば消失する個人特有の特徴（例：目元のくま、あごのたるみ）を、本フレームワークは効果的に保持している。
• ディスプレースメントマップは標準的なPBRレンダリングパイプラインと互換性があり、外見的および構造的特徴が入力画像に極めて近い高精細な再レンダリングを生成している。