[論文レビュー] Face Synthesis with Landmark Points from Generative Adversarial Networks and Inverse Latent Space Mapping

Shabab Bazrafkan, Hossein Javidnia+1 more|arXiv (Cornell University)|Feb 1, 2018

Face recognition and analysis参考文献 17被引用数 7

ひとこと要約

本稿では、生成対抗ネットワーク（GAN）と逆潜在空間マッピングを用いて、顔のランドマーク点を対応付ける顔画像を合成する新しいフレームワークを提案する。CelebAデータセット上でBEANに基づく生成器を学習し、顔画像から潜在ベクトルへの逆マッピングを学習することで、潜在空間でのサンプリングにより合成された顔-ランドマークペアを生成し、データ拡張を可能にする。潜在空間内での補間やランドマーク予測においても有望な結果が得られた。

ABSTRACT

Facial landmarks refer to the localization of fundamental facial points on face images. There have been a tremendous amount of attempts to detect these points from facial images however, there has never been an attempt to synthesize a random face and generate its corresponding facial landmarks. This paper presents a framework for augmenting a dataset in a latent Z-space and applied to the regression problem of generating a corresponding set of landmarks from a 2D facial dataset. The BEGAN framework has been used to train a face generator from CelebA database. The inverse of the generator is implemented using an Adam optimizer to generate the latent vector corresponding to each facial image, and a lightweight deep neural network is trained to map latent Z-space vectors to the landmark space. Initial results are promising and provide a generic methodology to augment annotated image datasets with additional intermediate samples.

研究の動機と目的

• 同時に高精細な顔画像を合成し、それに応じた顔のランドマークアノテーションを生成する手法の不足を解消すること。
• 潜在空間内で追加の顔-ランドマークペアを生成することで、データ拡張を可能にするフレームワークの開発。
• 下流の回帰タスク用に、学習済みGAN生成器の潜在Z空間から顔のランドマーク空間へのマッピングを確立すること。
• 逆潜在空間最適化と深層ニューラルネットワークを用いて、合成顔画像からの正確なランドマーク予測が可能かどうかを検討すること。

提案手法

• 高精細な顔画像を画像空間で生成するために、CelebAデータセット上でBEAN GANを学習する。
• 各実際の顔画像に対応する潜在ベクトルZを回復するために、Adam最適化子を用いた逆マッピングを実装する。
• 潜在Zベクトルから2次元顔ランドマーク座標へ回帰するための軽量な深層ニューラルネットワークを訓練する。
• 学習済みの生成器と逆マッピングを活用して、潜在空間でのサンプリングにより新たな顔-ランドマークペアを合成する。
• 潜在空間内で一貫性のあるランドマークアノテーションを備えた中間サンプルを生成することで、データ拡張を可能にする。
• 再構成誤差（生成画像と実際の顔画像の差）を最小化するように、逆潜在空間マッピングを繰り返し最適化する。

実験結果

リサーチクエスチョン

• RQ1 GANベースの顔生成器を用いて、対応する顔のランドマーク点を備えたリアルな顔画像を合成できるか？
• RQ2 事前に学習済みのGANの潜在空間への顔画像からの逆マッピングを学習するのは可能か？
• RQ3 深層ニューラルネットワークが、潜在ベクトルから正確な顔のランドマーク座標へマッピングするのに有効か？
• RQ4 このフレームワークは、合成データ生成を通じて、アノテーション付き顔データセットをどの程度向上できるか？

主な発見

• 提案手法は、学習済みのBEAN生成器を用いて、対応する顔のランドマーク点を備えたリアルな顔画像を効果的に生成できた。
• Adam最適化による逆潜在空間マッピングにより、実際の顔画像から潜在ベクトルの正確な回復が可能となった。
• 訓練済みの回帰ネットワークは、潜在ベクトルからの信頼性の高いランドマーク予測を達成し、マッピングの実現可能性を示した。
• 予備的な結果では、フレームワークが多様で現実的と思われる顔-ランドマークペアを生成でき、データ拡張に貢献することが示された。
• 中間の合成サンプルを用いた顔画像データセットの拡張に、汎用的な手法を提供した。