[論文レビュー] DeepFaceLab: Integrated, flexible and extensible face-swapping framework

Ivan Perov, Daiheng Gao+12 more|arXiv (Cornell University)|May 12, 2020

Generative Adversarial Networks and Image Synthesis参考文献 25被引用数 87

ひとこと要約

DeepFaceLab (DFL) は、柔軟でモジュール式のパイプラインと広範な抽出、訓練、変換機能を備えた、ハイクオリティで映画品質の顔交換を可能にするオープンソースの統合フレームワークです。

ABSTRACT

Deepfake defense not only requires the research of detection but also requires the efforts of generation methods. However, current deepfake methods suffer the effects of obscure workflow and poor performance. To solve this problem, we present DeepFaceLab, the current dominant deepfake framework for face-swapping. It provides the necessary tools as well as an easy-to-use way to conduct high-quality face-swapping. It also offers a flexible and loose coupling structure for people who need to strengthen their pipeline with other features without writing complicated boilerplate code. We detail the principles that drive the implementation of DeepFaceLab and introduce its pipeline, through which every aspect of the pipeline can be modified painlessly by users to achieve their customization purpose. It is noteworthy that DeepFaceLab could achieve cinema-quality results with high fidelity. We demonstrate the advantage of our system by comparing our approach with other face-swapping methods.For more information, please visit:https://github.com/iperov/DeepFaceLab/.

研究の動機と目的

• 高忠実度の顔交換のための統合的でユーザーフレンドリーなパイプラインを提供する。
• モジュール式で交換可能なコンポーネントにより柔軟なカスタマイズを可能にする。
• シネマ品質の結果を目指して大規模データセットとスケーラブルな訓練をサポートする。
• 高品質な合成データを生成して偽造検出を支援するツールを提供する。

提案手法

• 三段階のパイプライン：抽出、訓練、変換を緩結合設計で。
• 抽出：顔検出、アライメント、セグメンテーションを複数モードと標準ランドマークテンプレートで; XSeg 少数-shot セグメンテーションのカスタマイズは任意。
• 訓練：二つの構造(DFとLIAE)が共有エンコーダを持ち、相互作用モジュールを共有または別個にする。損失関数はDSSIMとMSEを重み付きマスクで組み合わせ; TrueFaceとGAN派生でリアルさを向上。
• 変換：Umeyamaベースのアライメントによる再配置、カラー転送オプション、ポアソンブレンディング、リアリスティックさを高める超解像シャープニング。
• 拡張性：交換可能なコンポーネント（検出器、セグメンター）とツール（XSeg）によるカスタマイズと頑健性の向上。

実験結果

リサーチクエスチョン

• RQ1 統合的で設定可能なパイプラインは、顔交換タスクの品質と実行の容易さをどの程度改善できるか？
• RQ2 異なるモデル構造（DF と LIAE）と訓練パラダイムは、忠実度、姿勢保持、アイデンティティ保持にどの程度影響するか？
• RQ3 大規模データセットと高度な後処理は、顔交換に映画品質の結果をもたらすのか？
• RQ4 モジュール式のコンポーネント（XSeg、異なる検出器/セグメンター）は、遮蔽物やさまざまな姿勢に対する頑健性にどんな影響を与えるか？

主な発見

Method	SSIM ↑	perceptual loss ↓	verification ↓	landmarks ↓	pose ↓
DeepFakes	0.71 ± 0.07	0.41 ± 0.05	0.69 ± 0.04	1.15 ± 1.10	4.75 ± 1.73
Nirkin et al.	0.65 ± 0.08	0.50 ± 0.08	0.66 ± 0.05	0.35 ± 0.18	6.01 ± 3.21
DFL(ours)	0.73 ± 0.07	0.39 ± 0.04	0.61 ± 0.04	0.73 ± 0.36	1.12 ± 1.07

• DFL は最先端の顔交換手法に対して、定性的・定量的な競争力のある結果を達成する。
• Table 1において、DFL はベースラインと比較してSSIMが高く、知覚的損失と姿勢/ランドマーク誤差が低く、構造的類似性と安定性が向上している。
• アブレーション研究はLIAE構造がターゲット顔の形状をより良く継承し、GANとTrueFaceと組み合わせるとよりフォトリアリスティックなディテールと安定した結果を生み出す。
• GANベースの訓練は皺やほくろなどのディテールのリアリズムを向上させ、TrueFaceは訓練を安定化させてアイデンティティと品質を維持する。
• XSegとTernausNetベースのセグメンテーションは遮蔽物の処理を改善し、特定の顔に対するカスタマイズを可能にする。