[论文解读] GIQA: Generated Image Quality Assessment

Shuyang Gu, Jianmin Bao+2 more|arXiv (Cornell University)|Mar 19, 2020

Advanced Image Processing Techniques参考文献 41被引用 4

一句话总结

本文提出了生成图像质量评估（GIQA），一种新颖的框架，用于客观评估生成对抗网络（GANs）生成的单个图像的质量。该框架提出了三种方法——MBC-GIQA（基于学习的半监督回归方法）、GMM-GIQA（参数化数据驱动方法）和KNN-GIQA（非参数化数据驱动方法），在与人类判断的一致性方面表现优异，并支持诸如独立评估真实感与多样性、基于在线难例挖掘（OHEM）改进GAN训练等新应用。

ABSTRACT

Generative adversarial networks (GANs) have achieved impressive results today, but not all generated images are perfect. A number of quantitative criteria have recently emerged for generative model, but none of them are designed for a single generated image. In this paper, we propose a new research topic, Generated Image Quality Assessment (GIQA), which quantitatively evaluates the quality of each generated image. We introduce three GIQA algorithms from two perspectives: learning-based and data-based. We evaluate a number of images generated by various recent GAN models on different datasets and demonstrate that they are consistent with human assessments. Furthermore, GIQA is available to many applications, like separately evaluating the realism and diversity of generative models, and enabling online hard negative mining (OHEM) in the training of GANs to improve the results.

研究动机与目标

• 解决当前缺乏评估GAN生成图像个体质量的方法的问题，因为这些图像在真实感和伪影质量方面往往不一致。
• 克服现有度量方法（如FID和Inception Score）的局限性，这些方法评估的是整个模型而非单个样本。
• 开发一种无需参考图像的自动化质量评估系统，专门针对生成图像设计，与传统无参考图像质量评估（NR-IQA）方法相区别。
• 支持新应用，如在GAN训练中实施在线难例挖掘（OHEM）以及基于质量的图像选择。
• 提供一个基准测试，包含一个新的带标注数据集（LGIQA），以客观评估GIQA的性能。

提出的方法

• 提出MBC-GIQA，一种基于半监督学习的方法，利用多个二分类器回归图像质量分数，利用训练迭代次数作为伪标签。
• 提出GMM-GIQA，一种参数化数据驱动方法，通过高斯混合模型（GMM）建模真实图像分布，并根据似然度分配质量分数。
• 开发KNN-GIQA，一种非参数化数据驱动方法，通过计算图像在真实图像空间中与其K个最近邻的距离来估计质量。
• 采用一种新颖的多二分类器回归策略，以减少半监督设置下的标签噪声，提升鲁棒性，且无需人工标注。
• 在GAN训练中应用OHEM（在线难例挖掘），对GIQA识别出的低质量生成图像赋予更高的损失权重。
• 利用GIQA作为图像选择器，从一批生成图像中挑选高质量样本用于下游应用。

实验结果

研究问题

• RQ1 是否能够开发一种无需参考图像、自动化的无监督方法，准确评估单个生成图像的质量，且无需人工标注？
• RQ2 在性能和效率方面，基于学习的方法与基于数据的方法在GIQA中的表现如何比较？
• RQ3 GIQA能否用于解耦并独立评估生成模型的真实感与多样性？
• RQ4 通过聚焦于低质量样本，GIQA在OHEM中能在多大程度上提升GAN训练效果？
• RQ5 所提出的GIQA方法对超参数（如图像块大小、组件数量或KNN中的K值）的敏感性如何？

主要发现

• MBC-GIQA在LGIQA-FFHQ数据集上，使用192大小的图像块和8个二分类器，达到73.1%的准确率，且在更高分类器数量时性能先上升后下降。
• GMM-GIQA在使用70个高斯分量时表现最佳（准确率76.4%），在100个分量后性能开始下降。
• KNN-GIQA在K=3500个最近邻时达到84.3%的准确率，且从K=500到K=7000之间性能趋于稳定。
• 结合GIQA的损失加权策略应用OHEM后，FID和质量得分均得到提升，若再结合图像选择策略，性能进一步增强。
• 所提出的GIQA方法与人类评估结果具有高度一致性，其在分数分布对齐方面优于NIMA。
• 该框架能够有效分离真实感与多样性的评估，提供比FID或Inception Score更细致的评估方式。