[论文解读] Feature Extraction Matters More: Universal Deepfake Disruption through Attacking Ensemble Feature Extractors

Long Tang, Dengpan Ye+5 more|arXiv (Cornell University)|Mar 1, 2023

Adversarial Robustness in Machine Learning被引用 7

一句话总结

本文提出 FOUND，一种新型通用深度伪造干扰器，首先攻击集成特征提取器，然后采用梯度集成方法以增强端到端干扰效果。通过针对深度伪造生成的核心——特征提取过程进行攻击，该方法在 HiSD 上实现了高达 98.55% 的最先进成功率，并在极小训练数据下展现出卓越效率，优于现有通用干扰器在白盒和黑盒迁移能力方面的表现。

ABSTRACT

Adversarial example is a rising way of protecting facial privacy security from deepfake modification. To prevent massive facial images from being illegally modified by various deepfake models, it is essential to design a universal deepfake disruptor. However, existing works treat deepfake disruption as an End-to-End process, ignoring the functional difference between feature extraction and image reconstruction, which makes it difficult to generate a cross-model universal disruptor. In this work, we propose a novel Feature-Output ensemble UNiversal Disruptor (FOUND) against deepfake networks, which explores a new opinion that considers attacking feature extractors as the more critical and general task in deepfake disruption. We conduct an effective two-stage disruption process. We first disrupt multi-model feature extractors through multi-feature aggregation and individual-feature maintenance, and then develop a gradient-ensemble algorithm to enhance the disruption effect by simplifying the complex optimization problem of disrupting multiple End-to-End models. Extensive experiments demonstrate that FOUND can significantly boost the disruption effect against ensemble deepfake benchmark models. Besides, our method can fast obtain a cross-attribute, cross-image, and cross-model universal deepfake disruptor with only a few training images, surpassing state-of-the-art universal disruptors in both success rate and efficiency.

研究动机与目标

• 为解决现有通用深度伪造干扰器在跨模型泛化方面的不足，这些方法将干扰视为端到端过程，而未区分特征提取与图像重建阶段。
• 探究是否通过干扰特征提取模块（而非完整生成器）可实现更有效且通用的深度伪造干扰。
• 开发一种两阶段干扰框架，利用极少训练数据提升白盒通用性与黑盒迁移能力。
• 通过引入新型梯度集成策略，解决多模型端到端攻击中的复杂优化冲突。

提出的方法

• 提出一种两阶段干扰流程：首先通过多特征聚合与单特征保持，干扰多个深度伪造模型的特征提取器。
• 在端到端阶段引入梯度集成攻击策略，缓解不同深度伪造模型之间的优化冲突，提升整体干扰性能。
• 使用一种简单而有效的损失函数，在扰动过程中保持原始图像属性，确保最小失真同时最大化干扰效果。
• 仅使用极少数量的训练图像（少样本）生成一种可在不同属性、图像与模型间有效工作的通用干扰器。
• 通过将特征提取器攻击与完整模型攻击解耦，将复杂的多模型优化问题分解为更简单、模块化的任务。
• 利用属性修改 GAN 中特征提取在结构与功能上的相似性，实现跨模型迁移能力。

实验结果

研究问题

• RQ1 是否通过攻击深度伪造模型的特征提取器模块，可实现比端到端攻击更有效且更具泛化能力的干扰？
• RQ2 在多种深度伪造模型上，特征提取器的集成攻击与端到端攻击相比，在成功率与鲁棒性方面有何差异？
• RQ3 梯度集成策略是否能提升多模型端到端干扰的优化稳定性与性能？
• RQ4 特征提取器干扰在多大程度上增强了通用深度伪造干扰器的黑盒迁移能力？
• RQ5 通过聚焦于特征提取器干扰，是否可仅用极少图像有效训练出一种通用干扰器？

主要发现

• 仅攻击特征提取器（特征集成）在四种深度伪造模型上实现了 95.69% 的平均成功率，显著优于端到端攻击。
• 特征集成与端到端梯度集成（FOUND）相结合，在 HiSD 上达到最高 98.55% 的成功率，在 StarGAN 和 AGGAN 上达到 100%。
• FOUND 将 L2 掩码距离降低至 0.20（平均值），表明扰动质量高且失真极小。
• FOUND 的 FID 分数平均为 273.46，表明生成输出比基线方法更具真实性。
• FOUND 展现出强大的黑盒迁移能力：在低扰动尺度下，其成功率提升在所有尺度上均优于 CMUA 和随机高斯噪声。
• 该方法仅用极少训练图像即实现最先进性能，证明其在属性、图像与模型间具有高效率与强泛化能力。