[論文レビュー] Geometry-Contrastive Generative Adversarial Network for Facial Expression Synthesis

Fengchun Qiao, Naiming Yao+4 more|arXiv (Cornell University)|Feb 6, 2018

Face recognition and analysis参考文献 10被引用数 25

ひとこと要約

本稿では、顔のランドマーク入力を用いて、アイデンティティを保持する顔の表情を生成する幾何学的対照的 GAN（GC-GAN）を提案する。対照学習により幾何学に配慮した意味的多様体を学習し、幾何学的補間によって滑らかな表情遷移を実現し、多様な顔の形状に対しても頑健な表情転送を達成する。

ABSTRACT

In this paper, we propose a geometry-contrastive generative adversarial network GC-GAN for generating facial expression images conditioned on geometry information. Specifically, given an input face and a target expression designated by a set of facial landmarks, an identity-preserving face can be generated guided by the target expression. In order to embed facial geometry onto a semantic manifold, we incorporate contrastive learning into conditional GANs. Experiment results demonstrate that the manifold is sensitive to the changes of facial geometry both globally and locally. Benefited from the semantic manifold, dynamic smooth transitions between different facial expressions are exhibited via geometry interpolation. Furthermore, our method can also be applied in facial expression transfer even there exist big differences in face shape between target faces and driving faces.

研究の動機と目的

• 顔のランドマークなどの疎な幾何的ヒントから、現実的でアイデンティティを保持する顔の表情を生成する課題に対処すること。
• 顔の形状の全体的および局所的変化を捉える、分離可能で幾何学に敏感な意味的多様体を学習することで、顔の表情合成を改善すること。
• 幾何学埋め込み潜在空間における補間を通じて、動的で滑らかな表情遷移を実現すること。
• ドライバーフェイスとターゲットフェイスの形状が著しく異なる場合でも、頑健な顔の表情転送を向上させること。

提案手法

• 条件付き GAN に対照学習を統合し、顔の幾何学を分離可能な意味的多様体に埋め込む。
• 生成器がアイデンティティを保持する顔の画像を、目的の表情とともに生成できるように、顔のランドマークを条件入力として使用する。
• 潜在空間における顔の幾何学の正例ペア（例：類似した表情）と負例ペア（例：異なる表情）を対比することで、対照表現を学習する。
• 幾何学符号化表現間の特徴類似度に基づいて対照損失を計算するために、シアンプルネットワークアーキテクチャを採用する。
• 学習済みの意味的多様体内の幾何学コード間を線形補間することで、表情補間を可能にする。
• 幾何学埋め込み多様体を活用することで、ドライバーフェイスとターゲットフェイスの形状差が著しくても、表情転送を可能にする。

実験結果

リサーチクエスチョン

• RQ1 対照学習は、顔の表情合成のための分離可能な意味的多様体に顔の幾何学を効果的に埋め込むことができるか？
• RQ2 学習された幾何学に配慮した多様体は、顔の表情間の滑らかで動的な遷移をサポートするか？
• RQ3 本モデルは、顔の形状に顕著な差がある場合の顔の表情転送にも一般化可能か？
• RQ4 幾何学と対照学習の統合は、表情生成品質とアイデンティティ保持性をどのように向上させるか？

主な発見

• 学習された意味的多様体は、顔の幾何学の全体的および局所的変化に敏感であり、正確な表情制御を可能にする。
• 幾何学埋め込み潜在空間における補間を通じて、顔の表情間の動的で滑らかな遷移が達成される。
• ターゲット表情が外見空間でソースから大きく離れていても、本モデルは高精細でアイデンティティを保持する顔の表情を生成する。
• 本手法は、多様な顔の形状にわたる顔の表情転送において頑健であり、一般化性能においてベースライン手法を上回る。