[논문 리뷰] DeepFaceLab: Integrated, flexible and extensible face-swapping framework

Ivan Perov, Daiheng Gao외 12명|arXiv (Cornell University)|2020. 05. 12.

Generative Adversarial Networks and Image Synthesis참고 문헌 25인용 수 87

한 줄 요약

DeepFaceLab (DFL)는 모듈식 파이프라인과 광범위한 추출, 학습, 변환 기능을 갖춘 고품질 시네마급 얼굴 바꾸기를 위한 오픈 소스 통합 프레임워크입니다.

ABSTRACT

Deepfake defense not only requires the research of detection but also requires the efforts of generation methods. However, current deepfake methods suffer the effects of obscure workflow and poor performance. To solve this problem, we present DeepFaceLab, the current dominant deepfake framework for face-swapping. It provides the necessary tools as well as an easy-to-use way to conduct high-quality face-swapping. It also offers a flexible and loose coupling structure for people who need to strengthen their pipeline with other features without writing complicated boilerplate code. We detail the principles that drive the implementation of DeepFaceLab and introduce its pipeline, through which every aspect of the pipeline can be modified painlessly by users to achieve their customization purpose. It is noteworthy that DeepFaceLab could achieve cinema-quality results with high fidelity. We demonstrate the advantage of our system by comparing our approach with other face-swapping methods.For more information, please visit:https://github.com/iperov/DeepFaceLab/.

연구 동기 및 목표

• 고충질도 높은 얼굴 바꾸기를 위한 통합되고 사용자 친화적인 파이프라인 제공.
• 모듈식으로 교체 가능한 구성요소를 통해 유연한 커스터마이즈 가능성 확보.
• 시네마 품질의 결과를 위한 대규모 데이터셋 및 확장 가능한 학습 지원.
• 위변조 탐지를 돕기 위해 고품질 합성 데이터를 생성하는 도구 제공.

제안 방법

• 느슨한 결합 설계를 가진 추출, 학습, 변환의 3단계 파이프라인.
• 추출: 다수 모드와 표준 랜드마크 템플릿을 포함한 얼굴 검출, 정렬 및 분할; 선택적으로 XSeg 소수-shot 분할 맞춤화.
• 학습: 공유 인코더를 갖는 두 구조(DF 및 LIAE)와 공용 또는 분리된 인터랙션 모듈; 가중 마스크를 가진 DSSIM과 MSE를 결합한 손실 함수; 사실감 향상을 위한 TrueFace 및 GAN 버전.
• 변환: Umeyama 기반 정렬을 통한 위치 재배치, 색상 전달 옵션, Poisson 혼합, 그리고 사실감 강화를 위한 초고해상도 샤프닝.
• 확장성: 탐지기, 분할기 등 교체 가능한 구성요소와 사용자 정의 및 견고성 향상을 위한 도구(XSeg).

실험 결과

연구 질문

• RQ1 통합되고 구성 가능한 파이프라인이 얼굴 바꾸기 작업의 품질과 용이성에 어떤 영향을 미치는가?
• RQ2 다른 모델 구조(DF 대 LIAE)와 학습 패러다임이 충실도, 자세 보존, 신원 보존에 어느 정도 영향을 미치는가?
• RQ3 대규모 데이터셋과 고급 후처리가 얼굴 바꾸기에서 시네마급 품질의 결과를 낼 수 있는가?
• RQ4 모듈식 구성요소(XSeg, 다양한 탐지기/분할기)가 가려짐 및 다양한 포즈에 대한 견고성에 미치는 영향은 무엇인가?

주요 결과

• DFL은 최첨단 얼굴 바꾸기 방법들과 대등한 질적 및 양적 결과를 달성한다.
• 표 1에서 DFL은 기준치에 비해 더 높은 SSIM과 더 낮은 지각 손실 및 자세/랜드마크 오차를 보여 구조적 유사성과 안정성이 향상되었음을 시사한다.
• 적소 연구는 LIAE 구조가 대상 얼굴 형태를 더 잘 상속하고 GAN 및 TrueFace와 결합 시 더 사실적인 디테일과 안정적인 결과를 낸다고 보여준다.
• GAN 기반 학습은 주름, 주근깨 등 디테일의 사실감을 향상시키고 TrueFace는 정체성 및 품질 보존을 위해 학습을 안정화한다.
• XSeg 및 TernausNet 기반 분할은 가려짐 처리량을 향상시키고 특정 얼굴에 맞춘 커스터마이징을 가능하게 한다.