[论文解读] Image Composition Assessment with Saliency-augmented Multi-pattern Pooling

Bo Zhang, Li Niu+1 more|arXiv (Cornell University)|Apr 7, 2021

Visual Attention and Saliency Detection参考文献 21被引用 7

一句话总结

本文提出了首个专用于图像构图评估的基准数据集CADB，每张图像均包含五位专业评分者的评分，并提出SAMP-Net模型，该模型采用显著性增强的多模式池化（SAMP）模块，从多种视觉布局模式角度评估构图。该方法通过模式特定的特征聚合、构图属性建模以及加权Earth Mover’s Distance损失，有效降低了内容偏差，其性能优于现有美学评估模型。

ABSTRACT

Image composition assessment is crucial in aesthetic assessment, which aims to assess the overall composition quality of a given image. However, to the best of our knowledge, there is neither dataset nor method specifically proposed for this task. In this paper, we contribute the first composition assessment dataset CADB with composition scores for each image provided by multiple professional raters. Besides, we propose a composition assessment network SAMP-Net with a novel Saliency-Augmented Multi-pattern Pooling (SAMP) module, which analyses visual layout from the perspectives of multiple composition patterns. We also leverage composition-relevant attributes to further boost the performance, and extend Earth Mover's Distance (EMD) loss to weighted EMD loss to eliminate the content bias. The experimental results show that our SAMP-Net can perform more favorably than previous aesthetic assessment approaches.

研究动机与目标

• 为解决图像构图评估缺乏专用高质量数据集的问题。
• 开发一种专用于评估整体图像构图质量的深度学习模型。
• 将多种构图模式（如三分法、对称性等）作为布局分析的独立视角。
• 通过将Earth Mover’s Distance（EMD）损失扩展为加权变体，降低构图评估中的内容偏差。
• 提供关于哪些构图模式对最终评分影响最大的可解释性洞察。

提出的方法

• 提出一种新颖的显著性增强多模式池化（SAMP）模块，通过预定义的多种构图模式（如基于网格、径向、对称性等）处理特征图。
• 基于每种构图模式对特征图进行空间变换，实现对视觉布局与元素分布的模式特定分析。
• 融合显著性图以在池化过程中聚焦于语义相关区域，增强对构图关键元素的关注。
• 通过学习得到的权重组合各模式特定的特征，使网络能够动态强调每张图像中最相关的构图模式。
• 采用加权Earth Mover’s Distance（wEMD）损失，使预测得分分布更贴近多位评分者的真实分布。
• 引入与构图相关的属性（如三分法、对称性等）作为辅助监督信号，以提升特征学习效果。

实验结果

研究问题

• RQ1 多模式池化机制是否能有效建模多样的构图规则并提升构图评估性能？
• RQ2 融合显著性图在多大程度上增强了模型聚焦于构图相关图像区域的能力？
• RQ3 使用加权EMD损失在多大程度上减少了内容偏差并改善了与人类评分者分布的一致性？
• RQ4 模型预测的模式权重是否能提供关于如何改进图像构图的可解释性反馈？
• RQ5 在由专业评分者标注的数据集上，该方法在准确率与泛化能力方面相较于现有美学评估模型表现如何？

主要发现

• SAMP-Net在CADB数据集上达到最先进性能，优于所有基线美学评估模型，包括专为构图设计的模型。
• SAMP模块使模型能够学习并为每张图像优先选择最相关的构图模式，该结论得到模式权重可视化结果的支持。
• 采用加权EMD损失显著改善了预测得分分布与人类评分者共识的一致性，有效降低了内容偏差。
• 模型预测结果与人类评分者得分高度相关，但在排序一致性方面仍存在差距，表明仍有改进空间。
• 失败案例多出现在背景复杂或构图模糊的图像中，此时模型往往低估高质量构图。
• 消融实验验证了每种构图模式对最终得分均有独特贡献，且增加更多模式可进一步提升性能。