[论文解读] Generalized Visual Quality Assessment of GAN-Generated Face Images

Yu Tian, Zhangkai Ni+4 more|arXiv (Cornell University)|Jan 28, 2022

Face recognition and analysis被引用 5

一句话总结

该论文提出 AttGF-IQA，一种基于元学习的 GAN 生成人脸图像（GFIs）通用视觉质量评估模型，通过卷积块注意力（CBA）和基于面部属性的分析（ABA）提取与人类感知对齐的特征。在未见过的 GAN 模型上，其性能达到 SOTA 水平，SRCC 为 77.28%，PLCC 为 77.91%，展现出强大的泛化能力与人类感知一致性。

ABSTRACT

Recent years have witnessed the dramatically increased interest in face generation with generative adversarial networks (GANs). A number of successful GAN algorithms have been developed to produce vivid face images towards different application scenarios. However, little work has been dedicated to automatic quality assessment of such GAN-generated face images (GFIs), even less have been devoted to generalized and robust quality assessment of GFIs generated with unseen GAN model. Herein, we make the first attempt to study the subjective and objective quality towards generalized quality assessment of GFIs. More specifically, we establish a large-scale database consisting of GFIs from four GAN algorithms, the pseudo labels from image quality assessment (IQA) measures, as well as the human opinion scores via subjective testing. Subsequently, we develop a quality assessment model that is able to deliver accurate quality predictions for GFIs from both available and unseen GAN algorithms based on meta-learning. In particular, to learn shared knowledge from GFIs pairs that are born of limited GAN algorithms, we develop the convolutional block attention (CBA) and facial attributes-based analysis (ABA) modules, ensuring that the learned knowledge tends to be consistent with human visual perception. Extensive experiments exhibit that the proposed model achieves better performance compared with the state-of-the-art IQA models, and is capable of retaining the effectiveness when evaluating GFIs from the unseen GAN algorithms.

研究动机与目标

• 为解决 GAN 生成人脸图像（GFIs）在未见 GAN 模型上缺乏通用性、鲁棒性与感知对齐的质量评估问题。
• 构建一个大规模、多样化的数据库（GFID），包含来自四种 GAN 的 GFI，配对的质量排名以及人类评分，用于训练与评估。
• 开发一种客观的 IQA 模型，通过学习跨域共享的感知相关特征，实现对未见 GAN 架构生成的 GFI 的有效泛化。
• 通过元学习整合域不变特征学习与专用模块（CBA 与 ABA），提升预测精度与人类视觉感知的一致性。

提出的方法

• 构建一个大规模 GFID 数据库，包含 200,000 组用于训练的图像对（按质量排序）以及 2,000 幅经人类平均意见得分（MOS）标注的测试图像。
• 设计一种新型 AttGF-IQA 模型，利用卷积块注意力（CBA）突出每个源 GAN 生成的 GFI 中与质量相关的关键空间特征。
• 集成基于面部属性的分析（ABA）模块，提取并分析感知关键属性（如眼睛、皮肤、对称性）以支持质量预测。
• 采用元学习优化策略，学习来自不同 GAN 的 GFI 之间共享的、域不变的表征，提升对未见域的泛化能力。
• 采用少样本学习范式进行模型训练，每个训练周期从不同 GAN 来源采样数据，使模型在推理阶段能够适应新的 GAN 架构。
• 通过元优化目标优化模型，最小化在验证阶段对未见 GAN 生成图像的预测误差，从而提升零样本泛化性能。

实验结果

研究问题

• RQ1 深度学习模型能否在多个未见 GAN 架构上实现 GAN 生成人脸图像的通用质量评估？
• RQ2 CBA 与 ABA 模块在提升模型检测 GFI 中感知相关失真能力方面有何贡献？
• RQ3 与标准优化方法相比，元学习在多大程度上提升了 IQA 模型在未见 GAN 生成人脸图像上的泛化性能？
• RQ4 与现有 SOTA IQA 方法相比，所提出的 AttGF-IQA 模型与人类视觉感知的相关性如何？

主要发现

• 所提出的 AttGF-IQA 模型在未见 GAN 模型（如 ProGAN、PENNet）上分别取得 0.7728 的斯皮尔曼等级相关系数（SRCC）与 0.7791 的皮尔逊线性相关系数（PLCC），显著优于基线方法。
• 采用元学习策略的模型在未见域上平均使 SRCC 提升 5.4%，PLCC 提升 5.6%（相较于无元学习的基线），证明其具备强大泛化能力。
• 移除 CBA 或 ABA 模块均导致性能下降，SRCC 分别降至 0.7396（无 CBA）与 0.6923（无 ABA），证实二者在特征学习中的关键作用。
• AttGF-IQA 模型在未见的 StyleGAN 上取得 73.26% 的 SRCC 与 75.38% 的 PLCC，表现出强鲁棒性与与人类感知的一致性。
• 该模型在多种 GAN 架构（如 StyleGAN、StarGAN、ProGAN、PENNet）上均保持高性能，证明其具备有效的域泛化能力。
• 消融研究证实，元学习对泛化至关重要，未使用元学习训练的模型在未见域上性能显著下降。