[论文解读] DeepfakeArt Challenge: A Benchmark Dataset for Generative AI Art Forgery and Data Poisoning Detection

Hossein Aboutalebi, Daniel Mao+4 more|arXiv (Cornell University)|Jun 2, 2023

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

本文介绍了DeepfakeArt挑战赛，这是一个包含三万两千多对图像的大规模基准数据集，旨在检测生成式AI艺术伪造和数据 poisoning。该数据集采用多样化技术，包括对抗性攻击、风格迁移和Cutmix，辅以严格的质量控制，以支持开发针对生成式AI系统中版权侵权和模型 poisoning 的鲁棒检测模型。

ABSTRACT

The tremendous recent advances in generative artificial intelligence techniques have led to significant successes and promise in a wide range of different applications ranging from conversational agents and textual content generation to voice and visual synthesis. Amid the rise in generative AI and its increasing widespread adoption, there has been significant growing concern over the use of generative AI for malicious purposes. In the realm of visual content synthesis using generative AI, key areas of significant concern has been image forgery (e.g., generation of images containing or derived from copyright content), and data poisoning (i.e., generation of adversarially contaminated images). Motivated to address these key concerns to encourage responsible generative AI, we introduce the DeepfakeArt Challenge, a large-scale challenge benchmark dataset designed specifically to aid in the building of machine learning algorithms for generative AI art forgery and data poisoning detection. Comprising of over 32,000 records across a variety of generative forgery and data poisoning techniques, each entry consists of a pair of images that are either forgeries / adversarially contaminated or not. Each of the generated images in the DeepfakeArt Challenge benchmark dataset \footnote{The link to the dataset: http://anon\_for\_review.com} has been quality checked in a comprehensive manner.

研究动机与目标

• 应对生成式AI在视觉内容中被滥用的日益增长威胁，特别是艺术伪造和数据 poisoning 问题。
• 提供一个标准化的高质量基准，用于评估和改进AI生成伪造内容的检测模型。
• 通过支持检测侵犯版权的内容和对抗性污染的训练数据，促进负责任的AI发展。
• 通过GenAI4Good倡议推动开放研究，促进生成式AI的伦理和透明使用。
• 通过定期更新数据集，应对规避策略，减轻恶意使用风险。

提出的方法

• 精心构建了包含三万两千对图像的多样化数据集，每对图像均标注为伪造或干净，使用多种生成式伪造技术。
• 应用对抗性攻击（FGSM、PGD、APGD）在原始图像上生成人眼难以察觉的扰动，用于数据 poisoning 检测。
• 通过在WikiArt数据集中随机提取并叠加图像块的方式，实现Cutmix技术。
• 使用风格迁移方法生成模仿特定艺术家风格的图像，以模拟基于版权的伪造行为。
• 通过全面的自动与人工验证，确保所有生成样本的数据质量。
• 将数据集划分为不同类别：对抗性攻击、风格迁移、Cutmix 和干净图像，支持针对性评估。

实验结果

研究问题

• RQ1 当前机器学习模型在检测模仿受版权保护内容的AI生成艺术伪造方面效果如何？
• RQ2 对抗性数据 poisoning 技术在保持视觉不可察觉性的同时，能在多大程度上规避检测？
• RQ3 统一的基准数据集在提升检测模型对多样化伪造技术的泛化能力和鲁棒性方面是否有效？
• RQ4 不同数据 poisoning 方法（如FGSM、PGD、Cutmix）对模型性能和检测准确率有何影响？
• RQ5 开放且定期更新的基准数据集在减轻生成式AI恶意使用方面能发挥何种作用？

主要发现

• DeepfakeArt挑战赛数据集包含三万两千多对高质量图像对，其中对抗性攻击类别有2,730条记录，Cutmix类别有2,000条记录。
• 如FGSM、PGD和APGD等对抗性攻击成功生成了人眼难以察觉的扰动，可在保持视觉保真度的同时改变模型预测结果。
• Cutmix技术通过组合源图像和目标图像的图像块，有效生成混合图像，模拟扩散模型中的数据复制行为。
• 基于风格迁移的伪造图像与原艺术家作品具有高度视觉相似性，对检测系统构成重大挑战。
• 该数据集支持对多种伪造类型（包括数据污染和风格模仿）的检测模型评估。
• 该数据集设计用于迭代改进，通过定期更新以应对规避策略，保持检测的相关性。