[論文レビュー] Synthesizing facial photometries and corresponding geometries using generative adversarial networks

Gil Shamai, Ron Slossberg+1 more|arXiv (Cornell University)|Jan 19, 2019

Generative Adversarial Networks and Image Synthesis参考文献 30被引用数 6

ひとこと要約

本論文は、標準的な畳み込みニューラルネットワークを用いるために、標準的な歪み制御付きマッピングを介して幾何的表面を2次元画像にマッピングすることで、現実的な3次元顔の形状とそれに応じたテクスチャを生成するGANベースのフレームワークを提案する。この手法は、光度的および幾何的詳細を同時に生成しながらそれらの相関関係を保持し、未学習のアイデンティティに対しても高い現実性と一般化性能を達成しており、3DMMよりも分布の類似性と特徴の忠実度で優れている。

ABSTRACT

Artificial data synthesis is currently a well studied topic with useful applications in data science, computer vision, graphics and many other fields. Generating realistic data is especially challenging since human perception is highly sensitive to non realistic appearance. In recent times, new levels of realism have been achieved by advances in GAN training procedures and architectures. These successful models, however, are tuned mostly for use with regularly sampled data such as images, audio and video. Despite the successful application of the architecture on these types of media, applying the same tools to geometric data poses a far greater challenge. The study of geometric deep learning is still a debated issue within the academic community as the lack of intrinsic parametrization inherent to geometric objects prohibits the direct use of convolutional filters, a main building block of today's machine learning systems. In this paper we propose a new method for generating realistic human facial geometries coupled with overlayed textures. We circumvent the parametrization issue by imposing a global mapping from our data to the unit rectangle. We further discuss how to design such a mapping to control the mapping distortion and conserve area within the mapped image. By representing geometric textures and geometries as images, we are able to use advanced GAN methodologies to generate new geometries. We address the often neglected topic of relation between texture and geometry and propose to use this correlation to match between generated textures and their corresponding geometries. We offer a new method for training GAN models on partially corrupted data. Finally, we provide empirical evidence demonstrating our generative model's ability to produce examples of new identities independent from the training data while maintaining a high level of realism, two traits that are often at odds.

研究の動機と目的

• 人間の知覚が外見と形状の不一致に非常に敏感であるため、現実的な3次元顔の形状とテクスチャを同時に生成する課題に対処すること。
• 3次元多様体に内在的なパラメータ化が欠如しているため、幾何データにCNNを適用する際の制限を克服すること。
• 生成されたサンプルにおける現実的な結合を保証するため、顔のテクスチャと幾何の内在的相関をモデル化すること。
• 欠損マスク機構を導入することで、部分的に損傷したデータでも学習可能とし、利用可能なデータ量を約20%増加させること。
• 訓練データに存在しない多様で高精細な顔のアイデンティティを生成しつつ、現実性を維持すること。

提案手法

• 目や口の高精細領域で誤差が最小限になるように、歪みに注意を払った標準的なパラメータ化を用いて、3次元顔の表面を2次元画像にマッピングすること。
• テクスチャと幾何をともに単位長方形上に2次元画像として表現することで、標準的な畳み込みニューラルネットワーク処理を可能にすること。
• 生成器がテクスチャと幾何の画像の同時分布を学習し、ディスクリミネータが現実性を強制するように、GANを訓練すること。
• 訓練中に欠損マスクを導入することで、部分的に損傷したデータから学習できるようにし、データ効率を向上させること。
• 生成されたテクスチャと幾何が空間的および構造的に整合するように、共有された標準的なマッピングを用いること。
• 幾何の事前分布として3Dモーファブルモデル（3DMM）を用い、係数を生成するか、再構築のための基底として使用すること。

実験結果

リサーチクエスチョン

• RQ1 3次元顔の幾何から2次元画像への標準的マッピングは、幾何の忠実性を保持しつつ、効果的なGANベースの合成を可能にするか？
• RQ2 顔のテクスチャと幾何の相関関係をどのようにモデル化すれば、生成された顔の現実性が向上するか？
• RQ3 マッピングされた幾何データで訓練されたGANは、訓練セットに存在しない新しいアイデンティティを生成できるか？
• RQ4 モデルは、性能劣化を伴わずに、部分的に損傷した訓練データをどの程度処理できるか？
• RQ5 本手法は、3DMMと比較して、分布の類似性と特徴の現実性の点でどの程度優れているか？

主な発見

• 提案手法は、平均解像度において、実際のテクスチャ画像と生成されたテクスチャ画像の間でスライス Wasserstein 距離（SWD）が17.67に達し、主成分分析（PCA）の99.08と比べて顕著に優れており、実データの3.16に近づいている。
• 幾何に関しては、生成画像と実画像の間のSWDが20.61であったのに対し、PCAでは65.61、実データでは3.15であったため、形状の合成における高い現実性が示された。
• アイデンティティの分布類似性において、提案手法（SWD 35.82）は3DMM（SWD 59.88）を上回り、訓練セットでは35.82 vs. 59.88、テストセットでは62.09 vs. 75.3であった。
• 標準的マッピングにより、目や鼻などの高精細領域での歪みが低減され、同時に重要度の低い領域に歪みが分散され、微細なテクスチャディテールが保持された。
• 欠損マスク技術により、訓練に使用可能なデータ量が約20%増加し、データ取得エラーに対するモデルのロバスト性が向上した。
• 定性的な評価により、生成された顔が多様で現実的であり、テクスチャと幾何の間の妥当な結合を示しており、訓練データに存在しない繰り返しのアイデンティティは確認されなかった。