[论文解读] HYPE: Human eYe Perceptual Evaluation of Generative Models

Sharon Zhou, Mitchell Gordon+4 more|arXiv (Cornell University)|Mar 27, 2019

Generative Adversarial Networks and Image Synthesis被引用 9

一句话总结

HYPE 引入了一种基于心理物理学的标准化人类评估基准，用于生成模型，可在受控条件下可靠地衡量感知真实感。该基准能够一致、低成本地评估多个模型和数据集的图像生成质量，包含两种变体：一种在自适应时间阈值（如 250ms）下测试真实感，另一种在无时间压力下测量人类错误率，两者均表现出高度可重复性和对模型改进的敏感性。

ABSTRACT

Generative models often use human evaluations to measure the perceived quality of their outputs. Automated metrics are noisy indirect proxies, because they rely on heuristics or pretrained embeddings. However, up until now, direct human evaluation strategies have been ad-hoc, neither standardized nor validated. Our work establishes a gold standard human benchmark for generative realism. We construct Human eYe Perceptual Evaluation (HYPE) a human benchmark that is (1) grounded in psychophysics research in perception, (2) reliable across different sets of randomly sampled outputs from a model, (3) able to produce separable model performances, and (4) efficient in cost and time. We introduce two variants: one that measures visual perception under adaptive time constraints to determine the threshold at which a model's outputs appear real (e.g. 250ms), and the other a less expensive variant that measures human error rate on fake and real images sans time constraints. We test HYPE across six state-of-the-art generative adversarial networks and two sampling techniques on conditional and unconditional image generation using four datasets: CelebA, FFHQ, CIFAR-10, and ImageNet. We find that HYPE can track model improvements across training epochs, and we confirm via bootstrap sampling that HYPE rankings are consistent and replicable.

研究动机与目标

• 解决生成模型研究中缺乏标准化、经验证的人类评估问题。
• 开发一个基于心理物理学的基准，以提高感知评估的可靠性和一致性。
• 实现高效且可扩展的人类评估，能够追踪模型在训练周期中的性能改进。
• 在多样化的数据集和模型架构（包括条件生成和无条件生成）上验证该基准。
• 基于人类感知，生成可分离且可重复的生成模型排名。

提出的方法

• 基于感知阈值和响应一致性，设计 HYPE 作为心理物理学驱动的人类评估框架。
• 实施两种变体：一种具有自适应时间限制，用于测量生成图像在何时开始显得真实（例如 250ms）；另一种无时间限制，用于评估人类在真实与虚假图像之间的错误率。
• 通过随机抽样模型输出，测试不同输出集下的可靠性。
• 应用自展抽样法，验证 HYPE 排名的一致性和可重复性。
• 在 CelebA、FFHQ、CIFAR-10 和 ImageNet 上，对六种最先进 GAN 模型及两种采样技术进行评估。
• 通过遵循既定的感知研究原则，确保方法论严谨性，以最大限度减少主观偏差。

实验结果

研究问题

• RQ1 一种标准化的人类评估框架是否能可靠地区分多样化生成模型中的真实图像与生成图像？
• RQ2 HYPE 是否能在不同训练周期和数据集上产生一致且可重复的模型性能排名？
• RQ3 时间限制的引入在多大程度上影响人类对生成模型图像真实感的感知？
• RQ4 HYPE 在训练过程中能在多大程度上检测到模型的渐进性改进？
• RQ5 HYPE 是否足够高效和可扩展，以适用于模型开发和比较的实际应用？

主要发现

• HYPE 成功地以高敏感度追踪了模型在训练周期中的性能改进。
• 该基准在多次评估中均产生一致且可重复的排名，经自展抽样验证。
• 时间限制变体识别出感知阈值（如 250ms），表明人类观察者何时开始认为生成图像真实。
• 错误率变体提供了一种成本更低但同样可靠的替代方案，用于在无时间压力下评估模型真实感。
• HYPE 在所有测试数据集和模型中均表现出模型性能的可分离性，包括条件生成和无条件生成。
• 该框架优于自动化指标，为生成模型评估提供了直接、可靠且经验证的人类感知基线。