[论文解读] ImagenHub: Standardizing the evaluation of conditional image generation models

Max Ku, Tianle Li+5 more|arXiv (Cornell University)|Oct 2, 2023

Virtual Reality Applications and ImpactsComputer Science被引用 3

一句话总结

ImagenHub 提出了一项针对条件图像生成模型的标准化基准，通过精选数据集、统一推理库和人类评估（包含语义一致性和感知质量评分）实现统一评估。结果显示，74% 的模型整体得分低于 0.5，且除以主题驱动生成外，无任何自动指标与人类评分具有良好相关性。

ABSTRACT

Recently, a myriad of conditional image generation and editing models have been developed to serve different downstream tasks, including text-to-image generation, text-guided image editing, subject-driven image generation, control-guided image generation, etc. However, we observe huge inconsistencies in experimental conditions: datasets, inference, and evaluation metrics - render fair comparisons difficult. This paper proposes ImagenHub, which is a one-stop library to standardize the inference and evaluation of all the conditional image generation models. Firstly, we define seven prominent tasks and curate high-quality evaluation datasets for them. Secondly, we built a unified inference pipeline to ensure fair comparison. Thirdly, we design two human evaluation scores, i.e. Semantic Consistency and Perceptual Quality, along with comprehensive guidelines to evaluate generated images. We train expert raters to evaluate the model outputs based on the proposed metrics. Our human evaluation achieves a high inter-worker agreement of Krippendorff's alpha on 76% models with a value higher than 0.4. We comprehensively evaluated a total of around 30 models and observed three key takeaways: (1) the existing models' performance is generally unsatisfying except for Text-guided Image Generation and Subject-driven Image Generation, with 74% models achieving an overall score lower than 0.5. (2) we examined the claims from published papers and found 83% of them hold with a few exceptions. (3) None of the existing automatic metrics has a Spearman's correlation higher than 0.2 except subject-driven image generation. Moving forward, we will continue our efforts to evaluate newly published models and update our leaderboard to keep track of the progress in conditional image generation.

研究动机与目标

• 解决由于数据集不一致、推理协议不统一和人类评估方法差异导致的条件图像生成评估缺乏公平性和一致性的问题。
• 建立一个集中化、可复现的基准，以实现模型间的公平比较。
• 开发一个可扩展的人类评估框架，具备高评分者间一致性，以确保模型评估的可靠性。
• 创建一个持续更新的排行榜，以追踪该领域的发展进展。
• 通过标准化的重新评估，识别并纠正已发表研究中的误导性声明。

提出的方法

• 精选七个高质量、任务特定的评估数据集（每项 100–200 个样本），以实现模型间输入条件的一致性。
• 构建统一的推理库，固定超参数和提示格式，确保模型推理的公平性与可复现性。
• 设计两个三值人类评估指标——语义一致性与感知质量——采用清晰无歧义的检查清单式指南。
• 训练专业评分员使用所提出的指标对模型输出进行评分，实现高评分者间一致性（76% 的模型中 Krippendorff’s alpha > 0.4）。
• 通过语义一致性与感知质量的几何平均值计算模型整体得分，以惩罚性能不平衡的情况。
• 开展消融研究以优化指标粒度，最终确定采用 [0, 0.5, 1] 的评分尺度，兼顾可靠性与实用性。

实验结果

研究问题

• RQ1 在标准化评估条件下，现有条件图像生成模型的性能在多大程度上保持一致？
• RQ2 在强制执行标准化指南和评分者间一致性的情况下，人类评估的可靠性如何？
• RQ3 在不同条件图像生成任务中，哪些自动指标与人类评估得分的相关性最佳？
• RQ4 在使用 ImagenHub 的标准化协议重新评估后，已发表的研究中关于模型性能的声明有多少比例仍成立？
• RQ5 一个统一且持续更新的基准是否能提升条件图像生成领域的可复现性与进展追踪能力？

主要发现

• 在评估的 30 个模型中，74% 的模型在整体人类评估指标上的得分低于 0.5，表明在大多数任务中性能普遍不理想。
• 仅有 17% 的模型（5/30）整体得分超过 0.7，凸显了仍有巨大的改进空间。
• 83% 的已发表研究中关于模型性能的声明在使用 ImagenHub 的标准化协议重新评估后得到验证。
• 在大多数任务中，无任何自动指标与人类评估得分的斯皮尔曼等级相关系数超过 0.2，仅在主题驱动图像生成任务中例外。
• 语义一致性与感知质量的几何平均值比加权和设置更具鲁棒性，后者可能被仅复制输入图像的模型所扭曲。
• 人类评估采用 [0, 0.5, 1] 的评分范围在评分者间一致性与实际可用性之间实现了最佳平衡，优于 [0,1] 和 [0,0.5,1,2] 的可靠性表现。