[论文解读] Detecting Photoshopped Faces by Scripting Photoshop

Sheng-Yu Wang, Oliver Wang+3 more|arXiv (Cornell University)|Jun 13, 2019

Digital Media Forensic Detection参考文献 38被引用 28

一句话总结

本文提出一种深度学习方法，通过在使用 Photoshop 的 Face-Aware Liquify 工具自动生成的虚假图像上训练卷积神经网络（CNN），实现对图像中面部扭曲的检测与逆转。该模型在检测细微篡改方面优于人类，能以高精度定位编辑区域，并可通过对扭曲操作进行‘反向’处理来重建原始图像，即使在真实艺术家制作的伪造图像上也表现良好。

ABSTRACT

Most malicious photo manipulations are created using standard image editing tools, such as Adobe Photoshop. We present a method for detecting one very popular Photoshop manipulation -- image warping applied to human faces -- using a model trained entirely using fake images that were automatically generated by scripting Photoshop itself. We show that our model outperforms humans at the task of recognizing manipulated images, can predict the specific location of edits, and in some cases can be used to "undo" a manipulation to reconstruct the original, unedited image. We demonstrate that the system can be successfully applied to real, artist-created image manipulations.

研究动机与目标

• 检测图像中常见但难以察觉的细微面部扭曲篡改，这是一种常见的图像伪造形式。
• 通过使用 Photoshop 脚本自动生成逼真的虚假图像，解决图像取证中标注训练数据稀缺的问题。
• 开发一种不仅能检测篡改，还能预测局部形变场并支持图像重建的模型。
• 评估模型在真实世界后处理（如社交媒体压缩）下的鲁棒性。
• 将取证检测能力从基于 GAN 的深度伪造扩展到使用标准工具（如 Photoshop）进行的常见细微编辑。

提出的方法

• 该方法使用从 Flickr 和 Open Images 抽取的大规模真实人脸图像数据集作为源素材。
• 通过脚本化 Photoshop 的 Face-Aware Liquify 工具，对图像应用随机的、高阶语义的扭曲操作（例如：增大鼻宽、减小眼距），以生成逼真的虚假训练图像。
• 使用配对的真实-虚假图像集对卷积神经网络进行训练，通过结合光流扭曲、相对形变保持和像素级重建损失，实现全局篡改检测与局部扭曲场预测。
• 局部预测模型采用多损失目标，以提高在识别扭曲区域时的空间精度。
• 系统生成可视化叠加图，突出显示检测到的编辑区域，并通过应用逆向扭曲尝试重建原始图像。
• 该模型在真实世界篡改（包括使用 Facetune 和 Snapchat Lens Studio 制作的篡改）上进行评估，证明其在训练工具之外具有良好的泛化能力。

实验结果

研究问题

• RQ1 仅在自动生成的虚假图像上进行训练的深度学习模型，能否在无任何人工标注训练数据的情况下，以高精度检测面部扭曲？
• RQ2 该模型能否以足够高的精度定位面部扭曲的具体区域，从而支持图像重建？
• RQ3 该模型在训练过程中未见过的真实艺术家制作的篡改图像上表现如何？
• RQ4 该模型在 JPEG 压缩和社交媒体重新上传等后处理操作下的鲁棒性如何？
• RQ5 该模型能否泛化到其他编辑工具（如 Facetune 和 Snapchat Lens Studio）产生的扭曲操作？

主要发现

• 在经过数据增强的低分辨率测试集上，该模型准确率达到 67.0%，平均精确率（AP）为 79.6%，显著优于人类表现（准确率 53.5%）。
• 局部预测模型的平均端点误差（EPE）为 0.91，表明其在预测形变场方面具有较高的空间精度。
• 在 Facebook 处理后的图像上，经过数据增强的模型仍保持强劲性能（准确率 67.0%，AP 79.6%），而高分辨率模型则无法泛化。
• 在艺术家测试集上，该模型成功实现了原始图像的重建，平均 PSNR 提升了 +2.21 dB，表明实现了部分但有意义的恢复。
• 即使在非 Photoshop 工具（如 Facetune 和 Snapchat Lens Studio）生成的编辑上进行测试，该模型仍能生成合理的‘撤销’预测，表明其具备超越训练工具的泛化能力。
• 该模型在极端分布外编辑（例如：对头发或身体使用通用 Liquify 工具）上会失效，但仍优于随机猜测（准确率 64.0%，AP 85.6%），表明具备一定的鲁棒性。