[论文解读] Understanding Aesthetics with Language: A Photo Critique Dataset for Aesthetic Assessment

Daniel Vera Nieto, L. Celona+1 more|arXiv (Cornell University)|Jun 17, 2022

Visual Attention and Saliency Detection被引用 7

一句话总结

本文介绍了Reddit照片评论数据集（RPCD），这是一个大规模的74,000张高分辨率图像与220,000条用户生成照片评论配对的数据集。该研究提出将评论的情感极性作为美学判断的代理指标，展示了其与人工评分美学的强相关性，并表明在评论情感上微调的视觉变换器（Vision Transformers）在美学评估任务中优于先前方法。

ABSTRACT

Computational inference of aesthetics is an ill-defined task due to its subjective nature. Many datasets have been proposed to tackle the problem by providing pairs of images and aesthetic scores based on human ratings. However, humans are better at expressing their opinion, taste, and emotions by means of language rather than summarizing them in a single number. In fact, photo critiques provide much richer information as they reveal how and why users rate the aesthetics of visual stimuli. In this regard, we propose the Reddit Photo Critique Dataset (RPCD), which contains tuples of image and photo critiques. RPCD consists of 74K images and 220K comments and is collected from a Reddit community used by hobbyists and professional photographers to improve their photography skills by leveraging constructive community feedback. The proposed dataset differs from previous aesthetics datasets mainly in three aspects, namely (i) the large scale of the dataset and the extension of the comments criticizing different aspects of the image, (ii) it contains mostly UltraHD images, and (iii) it can easily be extended to new data as it is collected through an automatic pipeline. To the best of our knowledge, in this work, we propose the first attempt to estimate the aesthetic quality of visual stimuli from the critiques. To this end, we exploit the polarity of the sentiment of criticism as an indicator of aesthetic judgment. We demonstrate how sentiment polarity correlates positively with the aesthetic judgment available for two aesthetic assessment benchmarks. Finally, we experiment with several models by using the sentiment scores as a target for ranking images. Dataset and baselines are available (https://github.com/mediatechnologycenter/aestheval).

研究动机与目标

• 为解决单一美学评分的局限性，通过自然语言评论捕捉更丰富、可解释的反馈。
• 创建一个来自真实摄影社区的大规模、高分辨率图像-评论配对数据集，用于美学评估研究。
• 探索照片评论中的情感极性是否可作为无需显式人工评分的美学判断可靠代理。
• 评估多模态模型在利用文本评论进行图像美学排序和图像字幕生成方面的有效性。
• 为未来计算美学与多模态推理研究提供公开可获取、可扩展的数据集和基线模型。

提出的方法

• 从专注于摄影反馈的Reddit社区收集了74,000张图像和220,000条照片评论。
• 通过过滤掉无评论或无法访问图像的帖子，仅保留一级评论，对数据进行预处理。
• 使用自然语言处理技术从评论中提取情感极性，作为美学判断的代理指标。
• 使用情感得分作为排序目标，对视觉变换器（ViT）模型进行训练和评估，以实现图像美学评估。
• 设计统一的评估框架，用于在美学评估和美学字幕生成任务上对模型进行基准测试。
• 通过GitHub和Zenodo发布数据集、代码和基线模型，采用知识共享署名4.0国际许可，供公众重用和扩展。

实验结果

研究问题

• RQ1 在无需显式人工评分的情况下，用户生成的照片评论中的情感极性是否能可靠预测图像美学质量？
• RQ2 在评论情感上训练的视觉模型性能与在传统美学评分上训练的模型相比如何？
• RQ3 美学评论是否为计算美学评估提供了比单一美学评分更丰富的信号？
• RQ4 在理解评论情感方面训练的模型能否泛化到其他任务，如美学图像字幕生成？
• RQ5 与现有数据集相比，RPCD在规模和分辨率方面如何，其在多模态学习中的实用性如何？

主要发现

• 在两个基准数据集上，照片评论中的情感极性与人工评分的美学得分表现出强正相关性。
• 在评论情感得分上微调的视觉变换器在图像美学评估中达到最先进性能。
• 从评论情感中学习美学感知特征，相比仅使用语义特征的模型，性能显著提升。
• 具有相同架构但训练目标不同的模型（如美学排序 vs. 字幕生成）表现出截然不同的性能行为，凸显了任务特定微调的重要性。
• RPCD数据集是目前最大、分辨率最高的图像-评论配对集合，其评论比以往数据集更长、更具信息量。
• 该数据集和基线模型已公开发布，具备完全可复现性，支持通过自动化流水线实现未来研究和扩展。