[論文レビュー] StyleUV: Diverse and High-fidelity UV Map Generative Model

Myunggi Lee, Wonwoong Cho+3 more|arXiv (Cornell University)|Nov 25, 2020

Generative Adversarial Networks and Image Synthesis参考文献 42被引用数 5

ひとこと要約

StyleUVは、学習中に実際のUVマップを必要とせずに、多様で高精細なUVマップを合成するGANベースの生成モデルを提案する。微分可能レンダラーと前面シルエットマスクを活用することで、実際の画像のみから学習し、顔のテクスチャのリアルさが向上し、潜在空間における分離可能な意味的制御が可能になる。

ABSTRACT

Reconstructing 3D human faces in the wild with the 3D Morphable Model (3DMM) has become popular in recent years. While most prior work focuses on estimating more robust and accurate geometry, relatively little attention has been paid to improving the quality of the texture model. Meanwhile, with the advent of Generative Adversarial Networks (GANs), there has been great progress in reconstructing realistic 2D images. Recent work demonstrates that GANs trained with abundant high-quality UV maps can produce high-fidelity textures superior to those produced by existing methods. However, acquiring such high-quality UV maps is difficult because they are expensive to acquire, requiring laborious processes to refine. In this work, we present a novel UV map generative model that learns to generate diverse and realistic synthetic UV maps without requiring high-quality UV maps for training. Our proposed framework can be trained solely with in-the-wild images (i.e., UV maps are not required) by leveraging a combination of GANs and a differentiable renderer. Both quantitative and qualitative evaluations demonstrate that our proposed texture model produces more diverse and higher fidelity textures compared to existing methods.

研究の動機と目的

• 注釈付きUVマップの限られた可用性に起因する、多様で高品質な3D顔テクスチャモデルの不足に対処すること。
• 線形3Dモーファブルモデル（3DMM）が現実的で多様な顔貌を捉えることの制限を克服すること。
• 高価で手作業で精錬されたUVマップを必要とせず、ウェルドのRGB画像から学習するテクスチャ生成フレームワークの開発。
• 生成されたUVマップの潜在空間における、分離可能で意味的な顔貌属性制御を可能にすること。
• 既存の3DMMおよび非線形再構成フレームワークと互換性がある、即挿入型のテクスチャモデルの提供。

提案手法

• 3D幾何と照明からの画像形成をシミュレートする微分可能レンダラーを用いて、StyleGAN-v2ベースの生成器がUVマップを生成する。
• 背景アーチファクトを低減し、生成品質を向上させるために、前面シルエットマスクを条件信号として導入する。
• 実際のUVマップの教師なしに、レンダリング済み画像上で動作するGAN損失を最適化することで、エンド・ツー・エンドの学習を可能にする。
• 一貫性のあるUVマッピングを実現するため、事前に定義された3D顔テンプレートと3Dパラメータ（例：アイデンティティ、表情、照明）を生成器の入力とする。
• 幾何的射影と光度レンダリングを組み合わせた微分可能画像形成関数を用い、レンダリングパイプライン全体に逆伝播を可能にする。
• StyleGANのスタイルモジュレーションを活用して潜在空間の分離を実現し、疑似属性ラベルに基づく線形SVMを訓練して意味的編集を可能にする。

実験結果

リサーチクエスチョン

• RQ1 実際のUVマップを学習に用いずに、GANベースのモデルが高精細で多様なUVマップを生成できるか？
• RQ2 微分可能レンダリングフレームワークにおいて、前面シルエットマスクを組み込むことで、生成されたUVマップの品質とリアルさがどのように向上するか？
• RQ3 生成されたUVマップの潜在空間が、意味的に意味的な補間や属性編集をどの程度可能にするか？
• RQ4 本モデルは、年齢、人種、性別の変化を明示的に教師なしに、多様な顔貌アイデンティティに一般化できるか？
• RQ5 テクスチャのリアルさと多様性の観点から、既存の3D顔再構成手法と比較して、本モデルのパフォーマンスはどの程度か？

主な発見

• StyleUVは、乳児、高齢者、人種の異なる人々、濃い化粧をした人々を含む多様な顔貌の顔をカバーする写真のようにリアルなUVマップを生成する。
• 定量的指標と定性的比較の両方で、ベースライン手法と比較して優れたテクスチャ忠実度を達成している。
• シルエットマスクの導入により、生成品質が顕著に向上し、背景アーチファクトが低減され、前面の一貫性が向上した。
• 潜在空間の補間は、性別変化や化粧の除去といった意味的に線形な遷移を示しており、効果的な分離が実現している。
• 潜在ベクトル上で線形SVMを用いた意味的属性編集により、生成されたUVマップにおける性別、年齢、人種などの属性を制御可能に編集できる。
• 本モデルは公開されており、即挿入型モジュールとして提供され、既存の3DMMおよび非線形再構成パイプラインへの直接統合が可能である。