[论文解读] AI-Generated Images as Data Source: The Dawn of Synthetic Era

Zuhao Yang, Fangneng Zhan+3 more|arXiv (Cornell University)|Oct 3, 2023

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

本文提出将人工智能生成图像作为数据源（AIGS），主张利用扩散模型和生成对抗网络（GAN）等先进生成模型生成的合成图像，可作为视觉智能任务中可扩展、保护隐私且高质量的训练数据。核心贡献在于全面分析了AIGS在克服数据稀缺、降低标注成本以及提升计算机视觉应用中模型泛化能力方面的潜力，同时指出了在评估、可解释性和三维感知方面面临的关键挑战。

ABSTRACT

The advancement of visual intelligence is intrinsically tethered to the availability of large-scale data. In parallel, generative Artificial Intelligence (AI) has unlocked the potential to create synthetic images that closely resemble real-world photographs. This prompts a compelling inquiry: how much visual intelligence could benefit from the advance of generative AI? This paper explores the innovative concept of harnessing these AI-generated images as new data sources, reshaping traditional modeling paradigms in visual intelligence. In contrast to real data, AI-generated data exhibit remarkable advantages, including unmatched abundance and scalability, the rapid generation of vast datasets, and the effortless simulation of edge cases. Built on the success of generative AI models, we examine the potential of their generated data in a range of applications, from training machine learning models to simulating scenarios for computational modeling, testing, and validation. We probe the technological foundations that support this groundbreaking use of generative AI, engaging in an in-depth discussion on the ethical, legal, and practical considerations that accompany this transformative paradigm shift. Through an exhaustive survey of current technologies and applications, this paper presents a comprehensive view of the synthetic era in visual intelligence. A project associated with this paper can be found at https://github.com/mwxely/AIGS .

研究动机与目标

• 探究使用人工智能生成图像作为视觉智能任务中训练和测试数据的可行性与优势。
• 解决传统数据采集方法的局限性，包括高昂的标注成本、数据稀缺性以及隐私问题。
• 分析生成模型（尤其是扩散模型和GAN）在生成高保真、可扩展的合成数据中的作用。
• 研究AIGS对下游任务（如目标检测、语义分割、深度估计和自动驾驶模拟）的影响。
• 识别未来研究中在评估指标、模型可解释性和三维感知生成方面存在的开放性挑战。

提出的方法

• 利用扩散模型和GAN生成具有受控语义和多样化属性的高分辨率、逼真图像。
• 使用神经辐射场（NeRF）和神经渲染技术，合成多视角一致的三维感知图像，以支持几何敏感任务。
• 应用基于CLIP对齐的文本到图像（T2I）模型，确保提示词与生成图像之间的语义一致性。
• 通过提示工程和生成模型潜在空间操作，实现自动标签获取。
• 通过基于提示的数据增强设计合成数据集，涵盖边缘情况和罕见场景。
• 将AIGS集成到基准测试流程中，用于模型验证、鲁棒性测试和域泛化评估。

实验结果

研究问题

• RQ1 人工智能生成图像在多大程度上可以替代真实世界数据，用于视觉智能任务的深度学习模型训练？
• RQ2 与真实数据相比，基于AIGS的数据集在模型泛化能力、鲁棒性和各类视觉任务性能方面表现如何？
• RQ3 当前用于人工智能生成图像的评估指标存在哪些关键局限性，如何改进以实现可靠评估？
• RQ4 三维感知生成模型如何提升自动驾驶和机器人等应用中合成数据的真实感和实用性？
• RQ5 在将AIGS部署于真实世界AI系统时，会引发哪些伦理、法律和可解释性方面的挑战？

主要发现

• AIGS显著降低了数据收集与标注成本，同时能够快速生成大规模、多样化且包含边缘案例的数据集。
• 与基于图形引擎的合成数据相比，扩散模型和GAN生成的AI图像表现出更小的域差距，从而提升了模型泛化能力。
• 使用预训练CLIP和感知度量（如DreamSim）可实现对图像-文本对齐和视觉质量的更忠实评估。
• 尽管已取得进展，当前AIGS方法在异常值和极端情况下的可解释性仍显不足，凸显了对改进可解释性框架的迫切需求。
• 基于NeRF和神经渲染的三维感知AIGS展现出潜力，但受限于从无姿态2D图像中学习复杂场景几何结构的挑战。
• AIGS在可扩展性和可控性方面的优势，使其成为医疗成像和自主系统等数据稀缺领域变革性范式。