[論文レビュー] ReenactGAN: Learning to Reenact Faces via Boundary Transfer

Wayne Wu, Yunxuan Zhang+3 more|arXiv (Cornell University)|Jul 29, 2018

Face recognition and analysis参考文献 54被引用数 18

ひとこと要約

ReenactGANは、境界潜在空間を用いて、ソース動画の顔の表情や動きをターゲット顔に転送する、顔の再現性を向上させるフレームワークを提案する。ソース顔を顔の境界表現にエンコードし、ターゲット固有のトランスフォーマーで変換し、ターゲット固有の生成器で復号することで、30 FPSでリアルタイムかつ写真のようにリアルな再現性を実現。顔の表情転送においても、顔のポーズや表情の変化が著しい状況でも高い忠実度を維持する。

ABSTRACT

We present a novel learning-based framework for face reenactment. The proposed method, known as ReenactGAN, is capable of transferring facial movements and expressions from monocular video input of an arbitrary person to a target person. Instead of performing a direct transfer in the pixel space, which could result in structural artifacts, we first map the source face onto a boundary latent space. A transformer is subsequently used to adapt the boundary of source face to the boundary of target face. Finally, a target-specific decoder is used to generate the reenacted target face. Thanks to the effective and reliable boundary-based transfer, our method can perform photo-realistic face reenactment. In addition, ReenactGAN is appealing in that the whole reenactment process is purely feed-forward, and thus the reenactment process can run in real-time (30 FPS on one GTX 1080 GPU). Dataset and model will be publicly available at https://wywu.github.io/projects/ReenactGAN/ReenactGAN.html

研究の動機と目的

• 顔のポーズ、表情、照明の変化が著しい状況下でも写真のようにリアルな顔の再現性を実現する挑戦に取り組む。
• 未観測または極端な顔の状態で失敗する直接的なピクセル空間GANの限界を克服する。
• ペairedでない顔の再現性における一対多のマッピング問題を、分離可能な境界ベースの潜在空間を導入することで解決する。
• 完全にフォワードのみのアーキテクチャにより、リアルタイム推論を実現する。
• ペアドされたソース・ターゲットデータを必要とせず、大規模な顔のランドマークデータセットを活用することで、顔の表情の転送を強力に実現する。

提案手法

• 顔のランドマークを活用して幾何学的整合性を確保しながら、深層エンコーダーネットワークを用いてソース顔画像を潜在境界空間にエンコードする。
• ターゲット固有のトランスフォーマー・ネットワークを導入し、ソース顔の境界表現をターゲットの境界ジオメトリに適合させる。
• PCA埋め込み境界空間でサイクル整合性損失を適用し、変換中に構造的忠実度を維持する。
• リアルさを向上させるために adversarial loss を使用し、顔の輪郭の正確な一致を維持するための shape loss を適用する。
• ターゲット固有のデコーダーネットワークを用いて、適応された境界表現を写真のようにリアルなターゲット顔に復号する。
• ペアドされていないソース・ターゲット動画と大規模な顔のアライメントデータセットを用いて、境界データの監視のもとで、全体のフレームワークをエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 境界ベースの潜在空間は、顔のアイデンティティを表情や動きから分離し、顔の再現性に耐性を持つように有効に機能するか？
• RQ2 トランスフォーマーに基づく境界適応ネットワークは、多様なアイデンティティや未観測の顔の表情にどれほど一般化できるか？
• RQ3 境界ベースの転送は、直接的なピクセル空間GANに比べて、顔のポーズや表情の変化をどれほど効果的に処理できるか？
• RQ4 ペアドされていないソース・ターゲットデータがなくても、一対多の再現性フレームワークを効果的に学習できるか？
• RQ5 顔の微細な筋活動ユニット（AU）を捉える能力において、Face2Faceなどの最先端手法に比べて、提案手法はどの程度優れているか？

主な発見

• ReenactGANは、1枚のGTX 1080 GPUで30 FPSのリアルタイム推論を達成し、実用的なデプロイメントを可能にする。
• 定量的比較により、顔の大きな動きや未観測の表情に対しても、CycleGANに比べて顕著に優れた性能を示す。
• AU17（chin raiser）の顔の筋活動ユニット（AU）応答において、ソースと再現された顔の間で92.5%の相関（R²）を達成し、Face2Face（73.9%）を上回り、顔の表情忠実度が優れていることを示す。
• アブレーションスタディにより、サイクル損失と形状損失を備えた境界トランスフォーマーが、特に目や口の領域でぼやけやテクスチャノイズを効果的に低減することが確認された。
• サイクル損失の導入により境界の適合性と構造的一致性が向上し、顔の輪郭の正確性向上において最も顕著な改善効果が得られた。
• 未観測のアイデンティティに対しても良好な一般化性能を示し、ターゲット固有のデコーダーとトランスフォーマーはターゲットの境界データのみで学習されるため、1つのモデルで多数のソースを再現可能である。