[论文解读] Learning Photography Aesthetics with Deep CNNs

G. Malu, Raju S. Bapi+1 more|arXiv (Cornell University)|Jul 13, 2017

Visual Attention and Saliency Detection参考文献 27被引用 13

一句话总结

本文提出一种多任务深度卷积神经网络（DCNN），通过美学与属性数据库（AADB）联合预测整体美学评分及八种具体美学属性（如色彩协调、景深、色彩鲜艳度等）。该模型在整体美学评分上达到接近人类水平的表现，并通过反向传播梯度生成属性激活图，可视化各属性在图像中的区域相关性，从而提升模型的可解释性。

ABSTRACT

Automatic photo aesthetic assessment is a challenging artificial intelligence task. Existing computational approaches have focused on modeling a single aesthetic score or a class (good or bad), however these do not provide any details on why the photograph is good or bad, or which attributes contribute to the quality of the photograph. To obtain both accuracy and human interpretation of the score, we advocate learning the aesthetic attributes along with the prediction of the overall score. For this purpose, we propose a novel multitask deep convolution neural network, which jointly learns eight aesthetic attributes along with the overall aesthetic score. We report near human performance in the prediction of the overall aesthetic score. To understand the internal representation of these attributes in the learned model, we also develop the visualization technique using back propagation of gradients. These visualizations highlight the important image regions for the corresponding attributes, thus providing insights about model's representation of these attributes. We showcase the diversity and complexity associated with different attributes through a qualitative analysis of the activation maps.

研究动机与目标

• 解决现有自动照片美学评估方法缺乏可解释性的问题，这些方法仅预测单一评分或二元类别。
• 通过同时学习整体评分与多个详细美学属性，提升美学评估性能。
• 通过图像中属性相关性的局部可视化，提供人类可理解的模型预测洞察。
• 评估深度学习模型是否能够学习复杂且语义相关的主观摄影属性的有意义表征。

提出的方法

• 设计一种多任务深度CNN架构，联合回归整体美学评分并分类八个预定义的美学属性。
• 网络采用残差模块（ResNet风格），以实现梯度稳定和更优的特征表示。
• 应用梯度反向传播生成属性激活图，突出显示与每个美学属性最相关的图像区域。
• 模型在美学与属性数据库（AADB）上进行训练与评估，该数据库为25,000张图像提供了人工标注的评分与属性标签。
• 采用多任务学习的损失函数组合，同时优化整体美学评分预测与各属性分类。
• 激活图的可视化使我们能够定性分析模型如何理解对象强调、光照与色彩协调等属性。

实验结果

研究问题

• RQ1 深度学习模型能否以高精度联合预测整体美学评分与多个具体美学属性？
• RQ2 所学习的美学属性表征在多大程度上与人类感知和语义理解一致？
• RQ3 基于梯度的可视化技术在多大程度上能揭示与每个美学属性相关的有意义局部区域？
• RQ4 哪些美学属性被模型最一致地学习和理解，哪些仍难以准确建模？
• RQ5 与先前的最先进模型相比，该模型在可解释性与性能方面表现如何？

主要发现

• 该模型在预测整体美学评分方面达到接近人类水平的表现，显示出在AADB数据集上强大的回归能力。
• 在五项属性上观察到预测值与真实值之间存在显著相关性：内容趣味性、对象强调、浅景深、色彩鲜艳度与色彩协调性。
• 属性激活图成功突出显示了语义相关的图像区域——例如，针对“色彩鲜艳度”聚焦于明亮色彩区域，针对“对象强调”聚焦于前景物体，表明模型内部表征具有意义。
• 对于“光照”与“色彩协调性”等属性，激活图呈现出不一致的模式，表明模型的理解尚不完整或对视觉复杂度敏感。
• 通过梯度反向传播生成的可视化技术有效揭示了模型的关注区域，为各美学属性的评估方式提供了可解释的洞察。
• 模型在“元素平衡”、“光照”与“三分法”属性上的表现与真实值相关性较低，表明这些主观且依赖上下文的属性建模仍具挑战。