[論文レビュー] FReeNet: Multi-Identity Face Reenactment

Jiangning Zhang, Xianfang Zeng+6 more|arXiv (Cornell University)|May 28, 2019

Generative Adversarial Networks and Image Synthesis参考文献 47被引用数 6

ひとこと要約

FReeNetは、顔の幾何構造と外見を潜在的ランドマーク空間を用いて分離することで、複数のアイデンティティに対する顔の再現を統合的に扱うフレームワークを提案する。表現の転送には統合的ランドマーク変換器（ULC）を、写実的でアイデンティティに一貫性のある結果を生成するための幾何学的注意型生成器（GAG）に三重の感知損失を導入し、表現転送と詳細の保持において最先端の性能を達成する。

ABSTRACT

This paper presents a novel multi-identity face reenactment framework, named FReeNet, to transfer facial expressions from an arbitrary source face to a target face with a shared model. The proposed FReeNet consists of two parts: Unified Landmark Converter (ULC) and Geometry-aware Generator (GAG). The ULC adopts an encode-decoder architecture to efficiently convert expression in a latent landmark space, which significantly narrows the gap of the face contour between source and target identities. The GAG leverages the converted landmark to reenact the photorealistic image with a reference image of the target person. Moreover, a new triplet perceptual loss is proposed to force the GAG module to learn appearance and geometry information simultaneously, which also enriches facial details of the reenacted images. Further experiments demonstrate the superiority of our approach for generating photorealistic and expression-alike faces, as well as the flexibility for transferring facial expressions between identities.

研究の動機と目的

• 任意のソースおよびターゲットアイデンティティ間での表現転送を、1つの統合モデルで効果的に行う課題に対処すること。
• 表現転送中にソースとターゲットアイデンティティの顔の輪郭のギャップを克服すること。
• アイデンティティ、ポーズ、照明、顔の詳細を保持する写実的な再現を可能にすること。
• 幾何構造と外見の情報を分離することで、顔の属性に対する柔軟な制御を可能にすること。
• 各ターゲットに対するネットワークの再適応を必要としない、柔軟でスケーラブルなフレームワークを構築すること。

提案手法

• 顔を潜在的ランドマーク空間に埋め込むためにランドマーク検出器を用い、幾何構造を保持しながら外見を除外する。
• エンコーダ・デコーダアーキテクチャを備えた統合的ランドマーク変換器（ULC）を実装し、潜在的ランドマーク空間内でアイデンティティ間の表現を転送する。
• 変換されたランドマークと参照画像の外見を融合することで、写実的な出力を生成する幾何学的注意型生成器（GAG）を設計する。
• 三重の感知損失を新たに導入し、外見と幾何構造の情報を分離する。
• GAGに三重の感知損失を適用することで、顔の詳細の生成とアイデンティティの一貫性を向上させる。
• 潜在空間におけるランドマークの補間と操作により、動的で顔の属性に特化した調整を可能にする。

実験結果

リサーチクエスチョン

• RQ1 再訓練をターゲットごとに必要としない統合的ディープラーニングフレームワークは、複数のアイデンティティ間での顔の表現転送を効果的に可能にするか？
• RQ2 ソースとターゲットの顔が異なる輪郭を持つ場合、表現転送中に顔の幾何構造をどのように保持できるか？
• RQ3 三重の感知損失は、顔の再現における詳細の生成を向上させるとともに、外見と幾何構造の分離をどの程度改善できるか？
• RQ4 参照画像のみを用いて、写実的な結果を生成しながらアイデンティティの一貫性を維持できるか？
• RQ5 分離設計は、ランドマーク編集による顔の属性の制御的な操作をどの程度可能にするか？

主な発見

• ULCモジュールは幾何的一致性を顕著に向上させ、それなしのモデルと比較してSSIMスコアを大幅に向上させる。
• 完全なFReeNetモデルはFIDとSSIMの両面で最先端の性能を達成し、優れた写実性と構造的忠実性を示す。
• 三重の感知（TP）損失により、GAGはしわ、眉毛、口の輪郭といったより豊かな顔の詳細を生成できるようになった。
• 参照画像が変更されても（例：化粧やノイズが加えられても）アイデンティティの一貫性が維持されるため、外見の分離が有効に機能していることが確認された。
• 潜在空間におけるランドマークの補間と操作により、滑らかで制御可能な遷移と属性固有の編集が実現され、分離設計の有効性が裏付けられた。
• アブレーションスタディにより、ULCとTP損失の両方が高品質な再現に不可欠であることが確認され、統合されたコンポーネントが個々のモジュールを上回る性能を発揮した。