[论文解读] Composition-Aware Image Aesthetics Assessment

Dong Liu, Rohit Puri+2 more|arXiv (Cornell University)|Jul 25, 2019

Visual Attention and Saliency Detection参考文献 43被引用 4

一句话总结

本文提出RGNet，一种用于图像美学评估的组合感知深度学习框架，通过区域构成图与图卷积网络建模局部图像区域之间的相互依赖关系。通过将图像密集划分为空间区域，编码其保留美学特性的特征，并在区域相似性图上进行推理，RGNet在AVA和AADB基准测试中实现了最先进性能，准确率相比之前方法最高提升6.19%。

ABSTRACT

Automatic image aesthetics assessment is important for a wide variety of applications such as on-line photo suggestion, photo album management and image retrieval. Previous methods have focused on mapping the holistic image content to a high or low aesthetics rating. However, the composition information of an image characterizes the harmony of its visual elements according to the principles of art, and provides richer information for learning aesthetics. In this work, we propose to model the image composition information as the mutual dependency of its local regions, and design a novel architecture to leverage such information to boost the performance of aesthetics assessment. To achieve this, we densely partition an image into local regions and compute aesthetics-preserving features over the regions to characterize the aesthetics properties of image content. With the feature representation of local regions, we build a region composition graph in which each node denotes one region and any two nodes are connected by an edge weighted by the similarity of the region features. We perform reasoning on this graph via graph convolution, in which the activation of each node is determined by its highly correlated neighbors. Our method naturally uncovers the mutual dependency of local regions in the network training procedure, and achieves the state-of-the-art performance on the benchmark visual aesthetics datasets.

研究动机与目标

• 通过显式建模图像中视觉元素之间的相互依赖关系，提升图像美学评估性能。
• 解决现有基于CNN的方法因依赖全局图像特征而无法编码构图感知特征的局限性。
• 开发一种端到端的深度学习架构，将局部特征编码与基于图的推理相结合，以实现更优的美学预测。
• 证明通过可学习的图结构建模区域间依赖关系，可显著提升基准数据集上的性能。

提出的方法

• 该方法使用空间网格将输入图像密集划分为局部区域，以捕捉细粒度视觉细节和多尺度上下文信息。
• 采用美学保持的特征编码网络，从每个区域提取保留视觉质量与上下文信息的特征。
• 构建区域构成图，其中每个节点代表一个局部区域，边的权重由区域特征的余弦相似度决定。
• 应用图卷积网络（GCNs）在图上传播并优化特征，实现对长程区域依赖关系的推理。
• 整个架构采用端到端训练，使模型能直接从原始图像学习构图感知表示。
• 最终的美学评分由图卷积后的聚合特征预测得出，无需额外后处理。

实验结果

研究问题

• RQ1 建模局部图像区域之间的相互依赖关系，是否能超越全局特征表示，提升图像美学评估性能？
• RQ2 可学习的区域构成图在捕捉与美学相关的长程空间与视觉关系方面，效果如何？
• RQ3 将基于图的推理整合到基于CNN的特征提取器中，是否能在标准基准上带来可测量的性能提升？
• RQ4 所学习的区域相似度在多大程度上与人类对视觉和谐与构图的感知一致？

主要发现

• 在AADB测试集上，RGNet的Spearman等级相关系数达到0.7104，相比之前最先进方法准确率提升3.22%。
• 在AVA数据集上，RGNet相比同样声称保留构图信息的MNA-CNN-Scene基线方法，分类准确率提升6.19%。
• 图卷积层生成的特征相似度图显示出更大且更连贯的高亮区域，表明对长程依赖关系的建模效果显著。
• 模型性能的提升归因于图卷积机制，该机制通过引入相关区域信息增强了特征表示。
• 可视化结果表明，模型能够学习将语义和视觉上一致的区域（如岩石及其相邻特征）关联为高度相关，与艺术构图原则一致。