[论文解读] Large Scale Qualitative Evaluation of Generative Image Model Outputs

Yannick Assogba, Adam Pearce+1 more|arXiv (Cornell University)|Jan 11, 2023

Aesthetic Perception and Analysis被引用 4

一句话总结

本文介绍了 Ravel，一种视觉分析系统，可对数十万张图像的生成图像模型输出进行大规模定性评估。通过利用聚类和语义嵌入空间，Ravel 支持交互式探索，以检测模式崩溃、数据分布区域缺失以及质量与多样性之间的权衡等问题，从而提供超越 FID 等标准指标的洞察。

ABSTRACT

Evaluating generative image models remains a difficult problem. This is due to the high dimensionality of the outputs, the challenging task of representing but not replicating training data, and the lack of metrics that fully correspond to human perception and capture all the properties we want these models to exhibit. Therefore, qualitative evaluation of model outputs is an important part of model development and research publication practice. Quantitative evaluation is currently under-served by existing tools, which do not easily facilitate structured exploration of a large number of examples across the latent space of the model. To address this issue, we present Ravel, a visual analytics system that enables qualitative evaluation of model outputs on the order of hundreds of thousands of images. Ravel allows users to discover phenomena such as mode collapse, and find areas of training data that the model has failed to capture. It allows users to evaluate both quality and diversity of generated images in comparison to real images or to the output of another model that serves as a baseline. Our paper describes three case studies demonstrating the key insights made possible with Ravel, supported by a domain expert user study.

研究动机与目标

• 为解决生成图像模型定性评估缺乏可扩展工具的问题，此类工具对于检测模式崩溃和数据分布缺口等问题至关重要。
• 支持研究人员在大规模范围内（高达 120,000 张图像）探索模型输出，超越实践中通常仅检查数十至数百张图像的局限。
• 提供与系统无关的界面，使用户能够将图像质量、多样性和分布保真度与真实数据或基线模型进行对比。
• 通过在语义嵌入空间中进行视觉对比，促进关于模型行为的假设生成。
• 通过实现对大规模模型输出的细粒度、人工引导的检查，克服 FID 等单数值指标的局限性。

提出的方法

• Ravel 采用两阶段方法：首先，利用学习到的嵌入对生成图像进行聚类，以分组视觉和语义上相似的样本。
• 其次，通过聚合指标（如 FID、精确率、召回率）可视化聚类，引导用户识别问题区域。
• 该系统通过用户界面支持交互式探索，允许用户利用语义嵌入空间并排比较真实图像与生成图像。
• 用户可浏览聚类，以高分辨率检查单个图像，并探索聚类内的异常值，以检测伪影或分布失败。
• 该界面支持全局和局部视图：用户可切换至基于类别条件的视图或基于相似性的聚类，从不同角度探索模型行为。
• Ravel 设计为与模型无关，可处理任意生成模型架构的输出，无需访问模型内部结构。

Figure 1: The Ravel interface primarily consists of: A) Dataset & view options. B) Summary charts & linked cluster plots. C) Side by side image grids for visual comparison of clusters. This view shows a cluster comparing real images on the left to generated images on the right.

实验结果

研究问题

• RQ1 研究人员如何有效探索并大规模评估生成图像模型输出的质量与多样性，超越小样本的定性检查？
• RQ2 哪些视觉分析技术可使用户在大规模模型输出中检测到模式崩溃和训练数据分布的缺失区域？
• RQ3 在语义嵌入空间中进行视觉对比在多大程度上能支持关于模型行为和故障模式的假设生成？
• RQ4 人类专家如何通过大规模视觉探索识别出 FID 等单数值指标无法捕捉的问题？
• RQ5 在使用聚类和基于嵌入的导航进行生成模型定性评估时，会遇到哪些局限性或可用性挑战？

主要发现

• 使用 Ravel 的专家发现了模型覆盖范围中此前未被察觉的缺口，例如基于 StyleGAN2 的模型中缺失的面部彩绘和特定头饰，这些在 FID 分数中并未显现。
• 该系统成功检测到 BigGAN-deep 中的模式崩溃，其生成样本局限于训练分布的一个狭窄子集，而这一问题未被标准指标捕捉。
• 用户一致表示，Ravel 中的视觉检查比仅依赖定量指标更有效地揭示了伪影和分布问题（如纹理偏差或记忆化现象）。
• 参与者发现，基于相似性而非类别标签进行聚类，更有利于识别异常值和罕见故障模式，表明基于相似性的分组能增强诊断洞察力。
• 尽管系统具有优势，用户在缺乏额外摘要的情况下难以理解聚类语义，表明未来版本需要更好的聚类描述或分层聚类支持。
• 一个关键局限是无法实时检测记忆化现象；用户建议集成最近邻搜索以增强此功能。

Figure 2: Beeswarm plot showing distribution of cluster precision scores. Each dot is a cluster which the currently selected dot shown in orange. A description of the metric can be accessed by clicking on the ? icon.