[论文解读] PKU-I2IQA: An Image-to-Image Quality Assessment Database for AI Generated Images

Jiquan Yuan, Xinyan Cao+4 more|arXiv (Cornell University)|Nov 27, 2023

Image and Video Quality Assessment被引用 5

一句话总结

本文提出了PKU-I2IQA，这是首个基于人类感知的图像到图像AIGC图像质量评估（AIGCIQA）数据库，包含使用Midjourney和Stable Diffusion V1.5从200个图像提示生成的1,600张AI生成图像。本文提出了两个基准模型——NR-AIGCIQA和FR-AIGCIQA，结果显示FR-AIGCIQA优于NR-AIGCIQA，其中ResNet18在整体性能上表现最佳（SRCC: 0.7241，PLCC: 0.7565）。

ABSTRACT

As image generation technology advances, AI-based image generation has been applied in various fields and Artificial Intelligence Generated Content (AIGC) has garnered widespread attention. However, the development of AI-based image generative models also brings new problems and challenges. A significant challenge is that AI-generated images (AIGI) may exhibit unique distortions compared to natural images, and not all generated images meet the requirements of the real world. Therefore, it is of great significance to evaluate AIGIs more comprehensively. Although previous work has established several human perception-based AIGC image quality assessment (AIGCIQA) databases for text-generated images, the AI image generation technology includes scenarios like text-to-image and image-to-image, and assessing only the images generated by text-to-image models is insufficient. To address this issue, we establish a human perception-based image-to-image AIGCIQA database, named PKU-I2IQA. We conduct a well-organized subjective experiment to collect quality labels for AIGIs and then conduct a comprehensive analysis of the PKU-I2IQA database. Furthermore, we have proposed two benchmark models: NR-AIGCIQA based on the no-reference image quality assessment method and FR-AIGCIQA based on the full-reference image quality assessment method. Finally, leveraging this database, we conduct benchmark experiments and compare the performance of the proposed benchmark models. The PKU-I2IQA database and benchmarks will be released to facilitate future research on \url{https://github.com/jiquan123/I2IQA}.

研究动机与目标

• 为解决当前在图像到图像生成中日益普遍的综合性、基于人类感知的AIGCIQA数据库缺乏的问题。
• 通过使用提示图像作为参考，建立一个平衡且可靠的主观评估框架，以减少人类感知评分中的偏差。
• 为在图像到图像生成图像上评估无参考（NR）和全参考（FR）AIGCIQA模型提供基准。
• 通过GitHub发布PKU-I2IQA数据库和基准模型，为未来AI生成图像质量研究提供支持。

提出的方法

• 作者选取了200个ImageNet类别，并从Pixabay收集了相应的高分辨率图像作为图像到图像生成的图像提示。
• 使用两种最先进的模型——Midjourney和Stable Diffusion V1.5——每个提示生成四张不同图像，共生成1,600张AIGI。
• 开展了一个组织有序的主观实验，收集每张生成图像的人类感知质量评分。
• 提出了两个基准模型：NR-AIGCIQA（无参考）和FR-AIGCIQA（全参考），两者均基于预训练的CNN主干网络，如ResNet18、ResNet50、VGG19和InceptionV4。
• 通过SRCC和PLCC指标评估模型性能，以衡量预测质量评分与人工标注质量评分之间的相关性。
• 通过在一种模型的输出上训练并在另一种模型的输出上测试，评估了跨模型泛化能力，结果表明泛化能力有限。

实验结果

研究问题

• RQ1 在图像到图像生成图像上，无参考与全参考AIGCIQA模型的性能表现如何比较？
• RQ2 哪种深度神经网络架构在预测图像到图像AIGI质量的人类感知方面表现最佳？
• RQ3 AIGCIQA模型在不同图像到图像生成模型之间具有多大程度的泛化能力？
• RQ4 在主观评估中使用提示图像作为参考，能否减少人类感知评分中的偏差？
• RQ5 图像到图像AIGI中存在哪些与文本到图像AIGI不同的关键质量退化模式？

主要发现

• FR-AIGCIQA基准模型优于NR-AIGCIQA模型，其中基于ResNet18的FR-AIGCIQA在SRCC（0.7241）和PLCC（0.7565）上达到最高值。
• 在主干网络中，ResNet18在PKU-I2IQA数据库上整体表现最佳，尤其在对应性与最终评分指标上表现突出。
• InceptionV4在真实性指标上表现最佳（SRCC: 0.7298，PLCC: 0.7529），而ResNet50在最终评分上达到最高值（SRCC: 0.7359，PLCC: 0.7606）。
• 所提出的基准模型在跨不同AIGI模型评估时表现出有限的泛化能力，表明未来AIGCIQA模型需提升领域泛化能力。
• PKU-I2IQA数据库成功捕捉了多种图像到图像生成的伪影，如结构不一致、纹理不规则和AI伪影，验证了其在真实AIGC评估中的相关性。