[论文解读] Pick-a-Pic: An Open Dataset of User Preferences for Text-to-Image Generation
作者发布 Pick-a-Pic,这是一个包含真实用户提示和图像偏好用于文本生成图像的大型开放数据集,并训练 PickScore,这是一个基于 CLIP 的评分函数,能够以超越人类的准确度预测人类偏好,并且在模型评估方面优于现有度量标准。
The ability to collect a large dataset of human preferences from text-to-image users is usually limited to companies, making such datasets inaccessible to the public. To address this issue, we create a web app that enables text-to-image users to generate images and specify their preferences. Using this web app we build Pick-a-Pic, a large, open dataset of text-to-image prompts and real users' preferences over generated images. We leverage this dataset to train a CLIP-based scoring function, PickScore, which exhibits superhuman performance on the task of predicting human preferences. Then, we test PickScore's ability to perform model evaluation and observe that it correlates better with human rankings than other automatic evaluation metrics. Therefore, we recommend using PickScore for evaluating future text-to-image generation models, and using Pick-a-Pic prompts as a more relevant dataset than MS-COCO. Finally, we demonstrate how PickScore can enhance existing text-to-image models via ranking.
研究动机与目标
- 创建一个大型、开放的真实用户在文本到图像生成中的提示和偏好数据集。
- 训练一个评分函数(PickScore)以从提示–图像对预测用户偏好。
- 证明 PickScore 在模型评估方面优于传统度量如 FID 的优势。
- 展示使用 PickScore 的排序如何提升图像质量和模型选择。
- 鼓励未来在 T2I 研究与评估中采用 Pick-a-Pic 与 PickScore。
提出的方法
- 开发一个网页应用,允许用户从提示生成图片并在每轮对两张图片之间指示偏好。
- 收集并预处理真实用户交互,形成包含提示、图像对及偏好的 Pick-a-Pic 数据集。
- 在 CLIP-H 主干上以奖励模型风格的目标进行微调,以最大化偏好图像的似然性(KL 散度最小化)。
- 通过将基于 CLIP 的文本/图像编码器与奖励模型目标和温度参数相结合,使用数据集加权损失来处理提示频率,训练 PickScore。
- 使用改编的准确性与平局和平局阈值分析,对比基线(CLIP-H、美学预测器、随机和人类专家)来评估 PickScore 与基线的性能。
- 比较模型评估信号(PickScore vs FID)并展示其与人类对 MS-COCO 标注的相关性。
实验结果
研究问题
- RQ1Pick-a-Pic 是否能够提供反映真实用户需求的现实、开放的提示与偏好分布?
- RQ2PickScore 是否能比现有自动评分函数更可靠地预测人类偏好?
- RQ3PickScore 是否比 FID 或其他基线更适合作为评估和排序文本到图像模型的度量?
- RQ4通过 PickScore 的排序是否能在图像生成质量上带来显著改进,相较于其他评分方法?
主要发现
- Pick-a-Pic 提供了一个大型开放数据集,包含超过 50 万个提示、图像对和用户偏好(后续版本超过 100 万)。
- PickScore 在验证集/测试集上预测人类偏好的准确率达到 70.5%,超过人类标注者(68.0%)和基线。
- PickScore 与真实用户判断的相关性很强(0.917,与 MS-COCO 提示的 FID 的 -0.900 相关性相比)。
- PickScore 在 Pick-a-Pic 评估中优于 CLIP-H、一个美学预测器,以及 ImageReward/HPS 基线。
- 使用 Pick-a-Pic 的提示比 MS-COCO 标注的提示在模型评估上更符合人类。
- 在图像排序实验中,人类更偏好 PickScore 选择的图像,超过其他评分方法的选择。
阅读本论文
在 Nubint 阅读器中打开原文,边读边就任意段落提问。
在 Nubint 中阅读本论文本解读由 AI 根据论文原文生成,引用前请核对原文。