[论文解读] DeepFaceLab: Integrated, flexible and extensible face-swapping framework

Ivan Perov, Daiheng Gao+12 more|arXiv (Cornell University)|May 12, 2020

Generative Adversarial Networks and Image Synthesis参考文献 25被引用 87

一句话总结

DeepFaceLab (DFL) 是一個開源的、集成的高品質、電影級人臉替換框架，具有靈活、模組化的管線以及廣泛的提取、訓練和轉換能力。

ABSTRACT

Deepfake defense not only requires the research of detection but also requires the efforts of generation methods. However, current deepfake methods suffer the effects of obscure workflow and poor performance. To solve this problem, we present DeepFaceLab, the current dominant deepfake framework for face-swapping. It provides the necessary tools as well as an easy-to-use way to conduct high-quality face-swapping. It also offers a flexible and loose coupling structure for people who need to strengthen their pipeline with other features without writing complicated boilerplate code. We detail the principles that drive the implementation of DeepFaceLab and introduce its pipeline, through which every aspect of the pipeline can be modified painlessly by users to achieve their customization purpose. It is noteworthy that DeepFaceLab could achieve cinema-quality results with high fidelity. We demonstrate the advantage of our system by comparing our approach with other face-swapping methods.For more information, please visit:https://github.com/iperov/DeepFaceLab/.

研究动机与目标

• 提供一個整合、使用者友善的高保真人臉替換管線。
• 透過模組化、可互換元件實現靈活自訂。
• 支援大規模資料集與可擴展訓練，以達到電影級成果。
• 提供工具以透過產生高品質合成資料幫助伪造偵測。

提出的方法

• 三階段管線：提取、訓練與轉換，設計為鬆耦合。
• 提取：人臉偵測、對齊與分割，具多種模式與規範性標記模板；可選 XSeg 少-shot 分割自訂。
• 訓練：兩種結構（DF 與 LIAE），共用編碼器，互動模組可共用或分離；損失函數結合 DSSIM 與 MSE，並搭配加權遮罩；TrueFace 與 GAN 變體以提升真實感。
• 轉換：透過基於 Umeyama 的對齊重新定位，顏色轉換選項、泊鬆融合，以及超解析度銳化以增強真實感。
• 可擴充性：可互換元件（偵測器、分割器）與工具（XSeg），便於自訂與增強魯棒性。

实验结果

研究问题

• RQ1 如何透過一個統一、可配置的管線提升人臉替換任務的品質與易用性？
• RQ2 不同模型結構（DF 與 LIAE）及訓練範式在保真度、姿態保留與身份保留方面的影響為何？
• RQ3 大規模資料集與先進後處理是否能在臉部替換中實現電影級成果？
• RQ4 模組化元件（XSeg、不同偵測器/分割器）對遮擋與多樣姿態之魯棒性有何影響？

主要发现

方法	SSIM ↑	感知損失 ↓	驗證 ↓	地標 ↓	姿態 ↓
DeepFakes	0.71 ± 0.07	0.41 ± 0.05	0.69 ± 0.04	1.15 ± 1.10	4.75 ± 1.73
Nirkin et al.	0.65 ± 0.08	0.50 ± 0.08	0.66 ± 0.05	0.35 ± 0.18	6.01 ± 3.21
DFL(ours)	0.73 ± 0.07	0.39 ± 0.04	0.61 ± 0.04	0.73 ± 0.36	1.12 ± 1.07

• DFL 在定性與定量上對抗最先進的臉部替換方法具有競爭力。
• 在 Table 1 中，DFL 顯示出更高的 SSIM 和較低的感知損失與姿態/地標錯誤，相較於基線，表示結構相似性與穩定性更佳。
• 消融研究顯示 LIAE 結構更能繼承目標臉型，搭配 GAN 與 TrueFace 後，產生更具寫實感的細節與穩定結果。
• GAN 基礎訓練提升了皺紋與痣等細節的現實性，而 TrueFace 使訓練更加穩定，以維持身份與品質。
• XSeg 與 TernausNet 基於分割提升對遮擋的處理，並允許對特定臉孔進行定制。