[論文レビュー] Learning Disentangled Representation for One-shot Progressive Face Swapping

Qi Li, Ning Wang+3 more|arXiv (Cornell University)|Mar 24, 2022

Face recognition and analysis被引用数 11

ひとこと要約

本稿では、二重エンコーダー構造と意味的ガイド付き融合モジュールを用いて、アイデンティティと属性表現を分離するGANベースの手法FaceSwapperを提案する。顔のランドマークと意味的マスクを活用することで、1つのソース画像と1つのターゲット画像のみで、1人あたりのアイデンティティに対してプログレッシブな顔交換を実現し、制御可能で写真のようにリアルな顔交換を達成。アイデンティティの保持と属性の忠実度が向上した。

ABSTRACT

Although face swapping has attracted much attention in recent years, it remains a challenging problem. Existing methods leverage a large number of data samples to explore the intrinsic properties of face swapping without considering the semantic information of face images. Moreover, the representation of the identity information tends to be fixed, leading to suboptimal face swapping. In this paper, we present a simple yet efficient method named FaceSwapper, for one-shot face swapping based on Generative Adversarial Networks. Our method consists of a disentangled representation module and a semantic-guided fusion module. The disentangled representation module comprises an attribute encoder and an identity encoder, which aims to achieve the disentanglement of the identity and attribute information. The identity encoder is more flexible, and the attribute encoder contains more attribute details than its competitors. Benefiting from the disentangled representation, FaceSwapper can swap face images progressively. In addition, semantic information is introduced into the semantic-guided fusion module to control the swapped region and model the pose and expression more accurately. Experimental results show that our method achieves state-of-the-art results on benchmark datasets with fewer training samples. Our code is publicly available at https://github.com/liqi-casia/FaceSwapper.

研究の動機と目的

• 1人あたりのアイデンティティに対して、1つのソース画像と1つのターゲット画像しか利用できない1ショット顔交換の課題に対処すること。
• 顔交換におけるアイデンティティと属性の分離を向上させ、制御性とリアリズムを向上させること。
• 大規模データセットへの依存を減らし、少数のサンプルからの有効な学習を可能にすること。
• 融合プロセスにおけるポーズと表情の正確なモデリングに、意味的ガイド（ランドマークとマスク）を導入すること。
• 段階的に改善する顔交換を実現し、多様性と視覚的品質を向上させること。

提案手法

• 分離表現モジュールは、潜在空間におけるアイデンティティと属性情報を分離するため、アイデンティティエンコーダーと属性エンコーダーを用いる。
• アイデンティティエンコーダーはより柔軟に設計されており、未学習のアイデンティティに対しても良好な一般化性能を発揮する。
• 属性エンコーダーは、しわや照明の変化といった微細なディテールを、従来手法よりも効果的に保持する。
• 意味的ガイド付き融合デコーダーは、顔のランドマークと意味的マスクを用いて、交換領域を制御し、ポーズと表情を整列させる。
• 再構成損失、アイデンティティ保持損失、属性保持損失、敵対的損失を含むマルチ損失訓練目的を採用する。
• フレームワークはエンドツーエンドで学習可能であり、徐々に生成画像を精錬することで、プログレッシブな顔交換を実現する。

実験結果

リサーチクエスチョン

• RQ1 GANベースの手法が、1つのソース画像と1つのターゲット画像しか利用できない状況でも、高品質な顔交換を達成できるか？
• RQ2 1ショット設定において、アイデンティティと属性表現をどれほど効果的に分離できるか？
• RQ3 ランドマークとマスクによる意味的ガイドは、顔交換におけるポーズと表情の一貫性向上にどのような役割を果たすか？
• RQ4 異なる損失成分は、アイデンティティ保持と視覚的リアリズムにどのように寄与するか？
• RQ5 プログレッシブな顔交換は、1ショット顔交換における多様性と制御性を向上させることができるか？

主な発見

• FaceSwapperはFaceForensics++データセットで93.86%のアイデンティティリtrievalスコアを達成し、すべてのアブレーションバリアントを上回り、SOTAのパフォーマンスを確立した。
• アイデンティティ保持損失を削除した場合（FS_wo_id）では、アイデンティティリtrievalスコアがわずか0.24%に低下し、その重要性が確認された。
• 本手法はポーズ誤差（2.36）と表情誤差（2.99）を低く維持しており、ターゲット顔の幾何学的形状と表情の正確なモデリングが可能であることを示している。
• アブレーションスタディの結果、敵対的損失を除いた場合、ポーズ誤差が著しく7.84に上昇し、リアリズム向上に不可欠であることが示された。
• 意味的ガイド付き融合モジュールは顕著な効果を発揮した：FS-B（意味的マスクなし）はアイデンティティを保持できず、FS-Cはターゲット属性の忠実度を失った。
• すべての損失を含む完全な手法は、アイデンティティ保持、属性忠実度、リアリズムのバランスが最良であり、完全な損失構成の必要性が確認された。