[论文解读] BLADERUNNER: Rapid Countermeasure for Synthetic (AI-Generated) StyleGAN Faces

Adam Dorian Wong|arXiv (Cornell University)|Oct 12, 2022

Adversarial Robustness in Machine Learning被引用 5

一句话总结

BLADERUNNER 提出了一种快速、开源的对抗措施，通过利用重复的面部关键点模式来检测由 AI 生成的 StyleGAN 人脸。该方法使用 DLIB 的 68 个关键点模型，通过分析面部关键点分布中的统计异常来识别合成伪影，从而在社交媒体环境中以高精度和低延迟实现实时检测合成人脸。

ABSTRACT

StyleGAN is the open-sourced TensorFlow implementation made by NVIDIA. It has revolutionized high quality facial image generation. However, this democratization of Artificial Intelligence / Machine Learning (AI/ML) algorithms has enabled hostile threat actors to establish cyber personas or sock-puppet accounts in social media platforms. These ultra-realistic synthetic faces. This report surveys the relevance of AI/ML with respect to Cyber & Information Operations. The proliferation of AI/ML algorithms has led to a rise in DeepFakes and inauthentic social media accounts. Threats are analyzed within the Strategic and Operational Environments. Existing methods of identifying synthetic faces exists, but they rely on human beings to visually scrutinize each photo for inconsistencies. However, through use of the DLIB 68-landmark pre-trained file, it is possible to analyze and detect synthetic faces by exploiting repetitive behaviors in StyleGAN images. Project Blade Runner encompasses two scripts necessary to counter StyleGAN images. Through PapersPlease acting as the analyzer, it is possible to derive indicators-of-attack (IOA) from scraped image samples. These IOAs can be fed back into AmongUs acting as the detector to identify synthetic faces from live operational samples. The opensource copy of Blade Runner may lack additional unit tests and some functionality, but the open-source copy is a redacted version, far leaner, better optimized, and a proof-of-concept for the information security community. The desired end-state will be to incrementally add automation to stay on-par with its closed-source predecessor.

研究动机与目标

• 应对在网络行动和社交媒体操纵中日益增长的合成 AI 生成人脸所带来的威胁。
• 开发一种自动化、快速的合成人脸检测系统，其性能优于人工视觉检查。
• 为信息安全社区提供一种轻量级、开源的概念验证，用于检测由 StyleGAN 生成的人脸。
• 通过面部关键点分析和 IOA（攻击指标）生成，实现实现可扩展的实时合成人脸检测。
• 为未来自动化和集成到实际网络安全防御体系中奠定基础。

提出的方法

• 利用 DLIB 的 68 个关键点预训练模型，从输入图像中提取面部关键点坐标。
• 分析面部关键点的空间一致性和分布模式，以检测 StyleGAN 生成人脸中共有的不自然重复现象。
• 使用 PapersPlease 脚本从抓取的图像样本中提取 IOA（攻击指标），通过识别关键点配置中的统计偏差。
• 采用 AmongUs 作为实时检测器，将 IOA 应用于分类实时操作样本，判断其为合成或真实人脸。
• 设计模块化流水线，包含两个核心脚本：一个用于 IOA 提取，一个用于实时检测，支持快速部署。
• 对开源版本进行性能和可维护性优化，尽管为简洁起见，省略了部分单元测试和高级功能。

实验结果

研究问题

• RQ1 是否可以使用预训练的 DLIB 模型可靠地检测到 StyleGAN 生成人脸中重复的面部关键点模式？
• RQ2 从关键点异常中提取的 IOA 是否能有效用于区分合成人脸与真实人脸？
• RQ3 该自动化系统在检测合成人脸方面的性能与人工视觉检查相比如何？
• RQ4 开源、轻量级系统在多大程度上能够实现实时检测 AI 生成的人脸？
• RQ5 此类系统如何逐步增强，以跟上不断演进的合成人脸生成技术？

主要发现

• 该系统通过检测统计异常的面部关键点分布（尤其是重复或不自然的模式）成功识别出合成人脸。
• 使用 DLIB 的预训练 68 个关键点模型，无需微调或复杂模型即可实现高精度检测。
• 从抓取数据中提取 IOA 的过程，实现了大规模合成人脸的可扩展、自动化检测。
• 检测流水线实现了低延迟性能，适用于社交媒体监控中的实时操作场景。
• 尽管开源版本省略了部分功能，但其充分展示了在信息安全工作流中部署的强概念验证可行性。
• 模块化设计使得未来可集成更多检测启发式方法和自动化机制，以应对不断演进的合成人脸生成方法。