[论文解读] Image Cropping with Composition and Saliency Aware Aesthetic Score Map

Yi Tu, Li Niu+3 more|arXiv (Cornell University)|Nov 24, 2019

Visual Attention and Saliency Detection参考文献 31被引用 5

一句话总结

本文提出ASM-Net，一种可解释的图像裁剪模型，通过生成兼顾构图感知与显著性感知的美学评分图，定位具有美学重要性的区域。通过将美学评分建模为同时依赖于裁剪区域内的相对位置（构图感知）和视觉显著性（显著性感知）的函数，该方法在基准数据集上实现了最先进性能，并能良好泛化至任意裁剪形状（包括圆形裁剪），且无需标注圆形裁剪数据。

ABSTRACT

Aesthetic image cropping is a practical but challenging task which aims at finding the best crops with the highest aesthetic quality in an image. Recently, many deep learning methods have been proposed to address this problem, but they did not reveal the intrinsic mechanism of aesthetic evaluation. In this paper, we propose an interpretable image cropping model to unveil the mystery. For each image, we use a fully convolutional network to produce an aesthetic score map, which is shared among all candidate crops during crop-level aesthetic evaluation. Then, we require the aesthetic score map to be both composition-aware and saliency-aware. In particular, the same region is assigned with different aesthetic scores based on its relative positions in different crops. Moreover, a visually salient region is supposed to have more sensitive aesthetic scores so that our network can learn to place salient objects at more proper positions. Such an aesthetic score map can be used to localize aesthetically important regions in an image, which sheds light on the composition rules learned by our model. We show the competitive performance of our model in the image cropping task on several benchmark datasets, and also demonstrate its generality in real-world applications.

研究动机与目标

• 开发一种可解释的图像裁剪模型，揭示美学评估的内在机制。
• 解决先前深度学习方法缺乏可解释性且未能建模构图与显著性动态的局限性。
• 通过学习随构图变化的区域特定美学评分，实现精确的裁剪级别美学评估。
• 通过引入视觉显著性作为灵活的非绝对监督，避免空间偏差过拟合，提升泛化能力。
• 将模型适用性扩展至矩形裁剪之外的任意形状，如圆形裁剪。

提出的方法

• 模型使用全卷积网络生成在所有候选裁剪中共享的美学评分图。
• 引入构图模式，将每个裁剪划分为非重叠区域，使美学评分依赖于区域所属的构图分区索引。
• 构图感知池化通过聚合每个分区内的评分，计算裁剪级别的美学评分，实现对位置的敏感评估。
• 设计了一种新颖的显著性感知损失，提高显著区域对构图变化的敏感度，促进显著对象的合理布局。
• 模型利用美学评分图，通过跨裁剪的评分均值与标准差生成热图，实现对美学重要区域的定位。
• 对于圆形裁剪，模型将构图感知池化适配至矩形裁剪的内接圆，实现无需微调即可评估圆形裁剪。

实验结果

研究问题

• RQ1 如何以可解释且可泛化的形式，将美学评估建模为同时依赖构图与显著性的函数？
• RQ2 能否设计一种评分图，使同一图像区域在不同裁剪中的位置变化时，获得不同的美学评分？
• RQ3 将显著性作为敏感度约束，如何提升模型对训练数据中空间偏差的鲁棒性？
• RQ4 单一学习到的美学评分图在不同裁剪形状（如矩形与圆形）之间，其泛化能力可达到何种程度？
• RQ5 模型能否以反映学习到的构图规则与显著性模式的方式，准确定位美学重要区域？

主要发现

• 通过有效建模构图与显著性依赖关系，该模型在图像裁剪基准上实现了最先进性能。
• 在显著性感知损失（λ = 0.1）下，模型减少了对空间偏差的过拟合，使美学重要区域从图像角落向显著内容转移。
• 模型在未使用任何标注圆形训练数据的情况下，成功生成高质量圆形裁剪，展现出对任意形状的强大泛化能力。
• 由美学评分图生成的热图显示，模型学会了优先关注中心区域与显著区域，与已知的摄影构图原则一致。
• 通过利用构图分区索引的差异，该模型在排序视觉内容相似的重叠裁剪时，优于现有方法。
• 采用构图感知池化，即使在复杂或重叠的空间配置下，也能实现高效且精确的裁剪级别美学评分。