[論文レビュー] High Quality Facial Surface and Texture Synthesis via Generative Adversarial Networks

Ron Slossberg, Gil Shamai+1 more|arXiv (Cornell University)|Aug 24, 2018

Generative Adversarial Networks and Image Synthesis参考文献 19被引用数 7

ひとこと要約

本論文は、幾何データを2次元パラメータ化空間にマッピングすることで、高品質な3D顔面の表面およびテクスチャを合成する、GANベースの新規なフレームワークを提案する。これにより、画像ベースのGANがリアルなテクスチャを生成し、それらを学習された3DMM係数によって生成された幾何に再マッピングできる。この手法により、訓練データとは異なり、視覚的に妥当かつ意味的に明確に区別される新しい顔のアイデンティティが生成される。

ABSTRACT

In the past several decades, many attempts have been made to model synthetic realistic geometric data. The goal of such models is to generate plausible 3D geometries and textures. Perhaps the best known of its kind is the linear 3D morphable model (3DMM) for faces. Such models can be found at the core of many computer vision applications such as face reconstruction, recognition and authentication to name just a few. Generative adversarial networks (GANs) have shown great promise in imitating high dimensional data distributions. State of the art GANs are capable of performing tasks such as image to image translation as well as auditory and image signal synthesis, producing novel plausible samples from the data distribution at hand. Geometric data is generally more difficult to process due to the inherent lack of an intrinsic parametrization. By bringing geometric data into an aligned space, we are able to map the data onto a 2D plane using a universal parametrization. This alignment process allows for efficient processing of digitally scanned geometric data via image processing tools. Using this methodology, we propose a novel face synthesis model for generation of realistic facial textures together with their corresponding geometry. A GAN is employed in order to imitate the space of parametrized human textures, while corresponding facial geometries are generated by learning the best 3DMM coefficients for each texture. The generated textures are mapped back onto the corresponding geometries to obtain new generated high resolution 3D faces.

研究の動機と目的

• 線形3Dモーファブルモデル（3DMM）がガウス分布の仮定と表現力の制限により、現実的でない顔のサンプルを生成するという限界を是正すること。
• 統一的かつ制御可能なフレームワーク内で、リアルな顔の幾何と高解像度テクスチャの両方を合成すること。
• 3Dスキャンの2次元パラメータ化されたアライメントデータ上で訓練されたGANを用いて、合成データと実データのドメインギャップを克服し、写真同等のリアルなテクスチャを生成すること。
• 訓練データに存在しない新しい顔のアイデンティティを生成し、顔認識、バイオメトリクス、コンピュータグラフィックスの応用を可能にすること。
• データのアライメントが可能であれば、顔にとどまらず、他のオブジェクトクラスにも適用可能な汎用的な3D形状およびテクスチャ合成パイプラインを確立すること。

提案手法

• 普遍的なパラメータ化を用いて3D顔スキャンをアライメントし、幾何的表面を2次元テクスチャ平面にマッピングすることで、画像処理技術の適用を可能にする。
• 2次元パラメータ化された顔テクスチャ上でGANを訓練し、潜在するデータ分布を学習し、新しいリアルなテクスチャを生成する。
• 回帰（例：最小二乗法）を用いて、各生成テクスチャから対応する3DMM係数へのマッピングを学習し、幾何がテクスチャのアイデンティティ、表情、文化的属性と整合するように保証する。
• 学習された3DMM係数を3DMM基底に適用して3D顔を再構築し、生成されたテクスチャをその結果の幾何に再マッピングする。
• 生成サンプルの意味的整合性とリアリズムを維持するために、知覚的損失とアイデンティティベース損失の組み合わせを用いる。
• データオーグメンテーションと最近傍解析を活用し、生成されたアイデンティティの多様性とリアリズムを検証する。

実験結果

リサーチクエスチョン

• RQ1 2次元パラメータ化された顔テクスチャ上で訓練されたGANは、実データと見分けがつかないほどリアルで高精細な顔テクスチャを生成できるか？
• RQ2 学習された3DMM係数マッピングを用いて、生成されたテクスチャから3D顔の幾何を正確に再構築できるか？
• RQ3 提案手法は、訓練データに存在しない新しい顔のアイデンティティを生成するのではなく、既存のものの中間を補間するにとどまるか？
• RQ4 生成された顔の分布が、アイデンティティおよび幾何的妥当性という観点から、実際の顔の分布とどの程度一致するか？
• RQ5 データのアライメントが可能である場合、このフレームワークは顔以外のオブジェクトクラスにも一般化可能か？

主な発見

• 提案モデルは、実スキャンと見分けがつかないほどリアルなテクスチャと幾何を持つ3D顔を生成する。これは、最近接する実データとの定性的比較によって確認された。
• 最近傍解析により、生成されたアイデンティティが訓練データの周辺に閉じ込められていないことが示された。テストデータから偽物への距離が、テストデータから訓練データへの距離よりも短く、新規アイデンティティの生成を示している。
• 3DMMベースの幾何生成法は、最小二乗法回帰を用いて低歪みを実現し、表情、性別、人種などのテクスチャ属性と整合した幾何を生成した。
• 定量的評価により、GANベースのテクスチャ生成が、ガウス分布の仮定により非妥当なサンプルを多く生成する線形3DMMよりも、よりリアルで多様なサンプルを生成することが確認された。
• このフレームワークは、多くの先行手法とは異なり、ポーズや照明の明示的制御を必要とせず、新規で妥当な顔のアイデンティティを合成可能である。