[论文解读] Automatic Assessment of Artistic Quality of Photos

Ashish Verma, Kranthi kumar Reddy Koukuntla+2 more|arXiv (Cornell University)|Apr 17, 2018

Visual Attention and Saliency Detection参考文献 19被引用 3

一句话总结

本文提出了一种基于多层感知机（MLP）的模型，通过分析构图、照明、色彩搭配、模糊度和对比度等低、中、高层次视觉特征，评估照片的艺术质量。该系统将质量评分定为1至10分，整体准确率达到87%，能够有效区分专业拍摄与业余拍摄的照片，且专业照片的评分显著更高。

ABSTRACT

This paper proposes a technique to assess the aesthetic quality of photographs. The goal of the study is to predict whether a given photograph is captured by professional photographers, or by common people, based on a measurement of artistic quality of the photograph. We propose a Multi-Layer-Perceptron based system to analyze some low, mid and high level image features and find their effectiveness to measure artistic quality of the image and produce a measurement of the artistic quality of the image on a scale of 10. We validate the proposed system on a large dataset, containing images downloaded from the internet. The dataset contains some images captured by professional photographers and the rest of the images captured by common people. The proposed measurement of artistic quality of images provides higher value of photo quality for the images captured by professional photographers, compared to the values provided for the other images.

研究动机与目标

• 开发一种自动化系统，基于艺术质量预测照片是否由专业人士拍摄。
• 识别并整合与艺术质量相关的关键视觉特征，如构图、照明、色彩搭配、模糊度和对比度。
• 训练一个多层感知机（MLP）模型，在1–10的量表上分配定量的艺术质量评分。
• 在涵盖七个类别的大规模多样化数据集上验证模型性能。
• 通过提高分类准确率并实现可扩展的自动化照片质量评估，超越先前的研究工作。

提出的方法

• 提取与构图、照明、色彩搭配、模糊度和对比度对应的低、中、高层次图像特征。
• 在将所有特征输入MLP之前进行归一化处理，以确保训练过程中各特征贡献均等。
• 使用二元标签方案进行MLP训练：将专业照片标记为高质量（标签1），业余照片标记为低质量（标签0）。
• 采用基于阈值的分类策略，将θ从2到9以0.5为增量进行调整，以确定最优质量阈值。
• 通过准确率、ROC曲线和AUC分数在七个照片类别中评估性能。
• 未来扩展中应用半监督学习，以提升在未标记数据上的效率。

实验结果

研究问题

• RQ1 机器学习模型能否基于艺术质量有效区分专业拍摄与非专业拍摄的照片？
• RQ2 哪些低级和中级视觉特征与照片感知艺术质量的相关性最强？
• RQ3 基于MLP的模型在为图像分配连续艺术质量评分（1–10）方面表现如何？
• RQ4 基于模型输出评分，将图像分类为高质量或低质量的最优阈值是什么？
• RQ5 模型在不同摄影类别（如风景、人像和夜景摄影）中的表现有何差异？

主要发现

• 所提方法在测试集上实现了87%的整体分类准确率，较先前工作提高了6%。
• 在阈值θ = 4时达到最高准确率，此时模型最能有效区分高质量与低质量图像。
• ROC AUC分数在0.7298（夜景）至0.9013（人像）之间，表明在各类别中均表现出较强的判别能力。
• 如图1和表II所示，模型为专业照片分配了显著更高的质量评分。
• 误报和漏报主要源于异常情况，如专业照片中的选择性模糊或构图良好但清晰的业余照片。
• 在人像类别中准确率最高（93%），在动物、静物和植物类别中也表现出色（89–91%）。