[论文解读] AOT: Appearance Optimal Transport Based Identity Swapping for Forgery Detection

Hao Zhu, Chaoyou Fu+4 more|arXiv (Cornell University)|Nov 5, 2020

Generative Adversarial Networks and Image Synthesis参考文献 68被引用 16

一句话总结

本文提出外观最优传输（AOT），一种新颖的身份互换方法，将外观映射建模为潜在空间和像素空间中的最优传输问题，以生成具有大外观差异的逼真 Deepfakes。通过利用光照重制生成器和分割游戏，最小化特征空间与像素空间中的 Wasserstein 距离，AOT 在 SOTA 方法中实现了更优的逼真度与鲁棒性，显著提升了在多样化外观条件下的伪造检测泛化能力。

ABSTRACT

Recent studies have shown that the performance of forgery detection can be improved with diverse and challenging Deepfakes datasets. However, due to the lack of Deepfakes datasets with large variance in appearance, which can be hardly produced by recent identity swapping methods, the detection algorithm may fail in this situation. In this work, we provide a new identity swapping algorithm with large differences in appearance for face forgery detection. The appearance gaps mainly arise from the large discrepancies in illuminations and skin colors that widely exist in real-world scenarios. However, due to the difficulties of modeling the complex appearance mapping, it is challenging to transfer fine-grained appearances adaptively while preserving identity traits. This paper formulates appearance mapping as an optimal transport problem and proposes an Appearance Optimal Transport model (AOT) to formulate it in both latent and pixel space. Specifically, a relighting generator is designed to simulate the optimal transport plan. It is solved via minimizing the Wasserstein distance of the learned features in the latent space, enabling better performance and less computation than conventional optimization. To further refine the solution of the optimal transport plan, we develop a segmentation game to minimize the Wasserstein distance in the pixel space. A discriminator is introduced to distinguish the fake parts from a mix of real and fake image patches. Extensive experiments reveal that the superiority of our method when compared with state-of-the-art methods and the ability of our generated data to improve the performance of face forgery detection.

研究动机与目标

• 为解决缺乏高外观差异的 Deepfake 数据集，尤其是光照条件挑战和肤色差异显著的情况。
• 通过生成具有极端外观差异的多样化、逼真 Deepfakes，提升人脸伪造检测模型的鲁棒性。
• 克服传统最优传输在身份互换中的局限性，如合成不连续、计算成本高以及几何保真度差。
• 开发一种可扩展、可微分的框架，将最优传输与深度生成建模相结合，实现细粒度的外观迁移。
• 提供一种可插拔解决方案，兼容现有身份互换流水线，以在复杂外观条件下提升其性能。

提出的方法

• 将外观映射建模为潜在空间与像素空间中的最优传输问题，以捕捉复杂的外观变换。
• 引入双分支感知编码器，结合三维面部几何与光照信息，指导身份保持的特征学习。
• 提出神经最优传输计划估计（NOTPE），以最小化潜在空间中的 Wasserstein 距离，实现高效且连续的合成。
• 采用光照重制生成器将特征解码至像素空间，并通过分割游戏优化外观迁移。
• 在分割游戏中引入判别器，用于区分真实与伪造的图像块，促使生成器输出更逼真的结果。
• 使用真实与伪造图像块的混合数据进行判别器训练，迫使生成器生成与目标外观匹配的逼真图像。

实验结果

研究问题

• RQ1 最优传输能否有效适配于具有显著外观差异（如肤色和光照条件变化）的身份互换？
• RQ2 如何在保持身份与结构保真度的同时，降低传统最优传输的计算负担？
• RQ3 潜在空间与像素空间的联合优化是否能相比单空间方法，提升生成 Deepfakes 的逼真度与连续性？
• RQ4 所提方法在未见外观差异上的伪造检测模型泛化能力提升程度如何？
• RQ5 AOT 框架能否无缝集成至现有身份互换流水线中，以增强其在挑战性外观条件下的性能？

主要发现

• AOT 在生成极端外观差异（如肤色不匹配、光照差异）下的逼真人脸互换方面，显著优于 SOTA 身份互换方法。
• 与 DeepFaceLab 及传统最优传输相比，该方法在视觉质量上表现更优，伪影更少，肤色更一致。
• 在潜在空间与像素空间中同时最小化 Wasserstein 距离，带来了更平滑、更连续的外观迁移，并降低了计算成本。
• 结合对抗训练的分割游戏能有效优化像素级逼真度，使生成图像更难与真实图像区分。
• 生成的 Deepfake 数据显著提升了下游人脸伪造检测模型的鲁棒性，尤其在未见外观分布上表现更优。
• AOT 与现有身份互换框架兼容，可作为插件模块，显著提升其在复杂外观差异下的性能。