[論文レビュー] Face Transfer with Generative Adversarial Network

Runze Xu, Zhiming Zhou+2 more|arXiv (Cornell University)|Oct 17, 2017

Face recognition and analysis参考文献 4被引用数 33

ひとこと要約

本稿では、大および小の受容 field を持つ二重判別器を備えた変更版 CycleGAN を用いたエンド・ツー・エンドの顔変換手法を提案する。この手法により、学習データにない頭部の向きや表情を有する高品質で現実的なターゲット顔画像を生成できる。大受容 field 判別器によるグローバルな整合性と、小受容 field 判別器によるローカルな詳細再現性を組み合わせることで、顔アニメーションにおける画像間変換において優れた一般化性能と現実性を達成する。

ABSTRACT

Face transfer animates the facial performances of the character in the target video by a source actor. Traditional methods are typically based on face modeling. We propose an end-to-end face transfer method based on Generative Adversarial Network. Specifically, we leverage CycleGAN to generate the face image of the target character with the corresponding head pose and facial expression of the source. In order to improve the quality of generated videos, we adopt PatchGAN and explore the effect of different receptive field sizes on generated images.

研究の動機と目的

• 教師付きデータが不要なエンド・ツー・エンドの顔変換システムを構築し、ソースアーティストの表情や頭部の向きをターゲットキャラクターに正確に反映させる。
• ターゲットデータセットに存在しない未学習の頭部の向きや表情を持つ現実的な顔画像を生成する課題に取り組む。
• 異なる受容 field サイズの判別器を用いることで、グローバル構造とローカルテクスチャのモデリングを分離し、画像品質と生成器の創造性を向上させる。
• 顔変換を生成的対抗ネットワーク（GAN）を用いた画像間変換タスクとして形式化する。

提案手法

• ペairedデータが不要な顔の同一性を保持する変換を可能にするために、CycleGAN を用いてソースとターゲット顔画像間の1対1写像を学習する。
• 受容 field サイズが異なる（97×97 および 42×42）パッチ GAN 判別器を用い、ローカルな現実性とグローバルな整合性を強制する。
• 大受容 field を持つ判別器（グローバル構造のため）と小受容 field を持つ判別器（ローカルテクスチャ再現性のため）を組み合わせたマルチ判別器アーキテクチャを構築する。
• 二つの判別器の adversarial loss 重みを調整し、生成画像におけるグローバルな整合性とローカルな詳細のバランスを取る。
• 生成器をエンド・ツー・エンドで訓練し、生成されたターゲット顔画像がソースの表情と頭部の向きを正確に再現するとともに、写真のようなリアルさを実現する。
• 1つの生成器ネットワークを用い、対応するソースフレームからターゲット動画の各フレームを合成することで、動画レベルの再構成を実現する。

実験結果

リサーチクエスチョン

• RQ1 ペaired学習データや明示的な顔モデリングを必要としない GAN ベースのアプローチが、高品質なエンド・ツー・エンド顔変換を達成できるか。
• RQ2 判別器の受容 field サイズの選択が、特に未学習の頭部の向きに対して、生成画像の現実性と一般化性能にどのように影響するか。
• RQ3 大および小の受容 field を併用した二重判別器アーキテクチャが、顔変換におけるグローバル構造とローカルテクスチャ再現性の両方を向上させられるか。
• RQ4 生成器がターゲット学習セットに存在しない表情や頭部の向きに対しても、どれほど現実的な画像を生成できるか。

主な発見

• 97+97 判別器モデルは、グローバルな画像の現実性を強制するが、未学習の頭部の向きを生成する際、きついグローバル制約のため歪みやノイズが生じる。
• 42+42 判別器モデルは、ローカルパッチの現実性に依存するため、より明確な画像を生成するが、グローバル構造の強制が欠如しているため、顔の歪みが生じる。
• 97+42 雙判別器モデルは最良のバランスを達成し、グローバルな整合性とローカルな詳細の両方を備えた画像を生成し、アーティファクトや歪みを顕著に低減する。
• 97+42 モデルは、ターゲットデータセットにない頭部の向きに対しても、現実的な顔画像を効果的に生成でき、単一判別器ベースラインより優れた一般化性能を示す。
• ターゲット動画に直接の参照がない場合でも、口の形状が妥当に再現されるが、歯の細部などは完璧ではない。
• アブレーションスタディにより、異なる受容 field サイズの判別器を組み合わせることで、生成器の多様性、現実性、整合性の向上が確認された。