[论文解读] Describing Human Aesthetic Perception by Deeply-learned Attributes from Flickr.

Luming Zhang|arXiv (Cornell University)|May 25, 2016

Visual Attention and Saliency Detection参考文献 18被引用 8

一句话总结

本文提出了一种弱监督深度学习框架，通过从Flickr图片标签中学习定位且可解释的视觉美学属性，以建模人类的美学感知。通过使用卷积神经网络（CNN）将图像级别的文本属性投影到像素级别的图像块上，该方法捕捉了区域特定的吸引力，从而在美学排序、检索和图像重定向任务中表现出色。

ABSTRACT

Many aesthetic models in computer vision suffer from two shortcomings: 1) the low descriptiveness and interpretability of those hand-crafted aesthetic criteria (i.e., nonindicative of region-level aesthetics), and 2) the difficulty of engineering aesthetic features adaptively and automatically toward different image sets. To remedy these problems, we develop a deep architecture to learn aesthetically-relevant visual attributes from Flickr1, which are localized by multiple textual attributes in a weakly-supervised setting. More specifically, using a bag-ofwords (BoW) representation of the frequent Flickr image tags, a sparsity-constrained subspace algorithm discovers a compact set of textual attributes (e.g., landscape and sunset) for each image. Then, a weakly-supervised learning algorithm projects the textual attributes at image-level to the highly-responsive image patches at pixel-level. These patches indicate where humans look at appealing regions with respect to each textual attribute, which are employed to learn the visual attributes. Psychological and anatomical studies have shown that humans perceive visual concepts hierarchically. Hence, we normalize these patches and feed them into a five-layer convolutional neural network (CNN) to mimick the hierarchy of human perceiving the visual attributes. We apply the learned deep features on image retargeting, aesthetics ranking, and retrieval. Both subjective and objective experimental results thoroughly demonstrate the competitiveness of our approach.

研究动机与目标

• 解决传统手工设计美学标准中可解释性不足和区域特异性差的问题。
• 实现在多样化图像集合上自动、自适应地学习美学特征。
• 通过模仿视觉属性的分层处理过程，建模人类的美学感知。
• 提升美学预测、图像重定向和检索任务的性能。

提出的方法

• 使用频繁Flickr图片标签的词袋（BoW）表示法，为每张图像提取文本属性。
• 应用稀疏性约束子空间算法，发现一组紧凑且有意义的文本属性（例如：'landscape'，'sunset'）。
• 采用弱监督学习方法，将图像级别的文本属性投影到高度响应的像素级别图像块上。
• 对定位后的图像块进行归一化，并输入五层卷积神经网络（CNN）以建模分层视觉感知。
• 利用学习到的深度特征执行下游任务，如美学排序、检索和图像重定向。
• 借助心理和解剖学证据，指导CNN架构设计，以反映视觉处理的分层特性。

实验结果

研究问题

• RQ1 仅使用图像级别的标签，弱监督学习能否有效在像素级别定位美学属性？
• RQ2 基于文本属性学习到的深度特征在多大程度上提升了美学预测和图像理解任务的性能？
• RQ3 定位后的视觉属性与人类对吸引人图像区域的关注程度有多吻合？
• RQ4 分层CNN架构能否有效模拟人类对美学属性的感知？
• RQ5 所提出的方法是否能在无需人工特征工程的情况下，泛化到多样化图像集合？

主要发现

• 所提出的方法在图像美学排序任务中表现具有竞争力，优于依赖手工特征的现有模型。
• 学习到的视觉属性具有定位性和可解释性，表明特定图像区域对美学吸引力有贡献。
• 弱监督的图像块定位准确反映了人类对吸引人区域的关注，这与文本属性的指示一致。
• 五层CNN有效建模了人类视觉感知的分层特性，提升了特征表示能力。
• 该方法在下游任务（如图像重定向和检索）中表现出良好的泛化能力，证明了其鲁棒性和适应性。
• 主观与客观评估均证实，所提出的方法优于基线美学模型。