[论文解读] A Hypothesis for the Aesthetic Appreciation in Neural Networks

Xu Cheng, Xin Wang+3 more|arXiv (Cornell University)|Jul 31, 2021

Aesthetic Perception and Analysis参考文献 68被引用 4

一句话总结

本文假设美学图像通过强化显著概念并抑制非必要概念来提升神经网络性能。通过在预训练的ResNet-18中使用多变量交互分析，作者对图像进行修改以增强高影响力特征交互，从而生成更具视觉美感的输出，其效果通过前景/背景锐化/模糊效应的定性与概率分析得到验证。

ABSTRACT

This paper proposes a hypothesis for the aesthetic appreciation that aesthetic images make a neural network strengthen salient concepts and discard inessential concepts. In order to verify this hypothesis, we use multi-variate interactions to represent salient concepts and inessential concepts contained in images. Furthermore, we design a set of operations to revise images towards more beautiful ones. In experiments, we find that the revised images are more aesthetic than the original ones to some extent.

研究动机与目标

• 探究图像的美学欣赏是否源于神经网络对显著概念的增强与对非必要概念的抑制。
• 开发一种图像修改方法，通过增强高影响力特征交互并减少低影响力交互来提升图像质量。
• 通过受控图像修改测量感知美学提升，以验证该假设。
• 将美学质量建模为深度神经网络激活中多变量交互的函数。
• 利用基于DNN的图像编辑方法，探究局部与全局上下文在美学感知中的作用。

提出的方法

• 该方法使用博弈论中的多变量交互度量，量化像素组对DNN分类置信度的贡献。
• 显著概念被识别为具有较大 |I(S)| 值的像素子集 S，而非必要概念则具有可忽略的 |I(S)| 值。
• 通过基于交互梯度调整色调、饱和度、亮度和锐度，应用平滑且非对抗性的操作执行图像修改。
• 损失函数基于在ImageNet上预训练的ResNet-18计算，以引导图像修改向增强显著性与降低非必要性方向优化。
• 利用目标边界框分离前景与背景区域，以计算模糊/锐利得分的概率分布。
• 通过在交互计算中改变感受野大小 r，区分小尺度（局部）与大尺度（全局）交互。

实验结果

研究问题

• RQ1 在深度神经网络激活中增强高影响力多变量交互，是否会导致图像更具美学吸引力？
• RQ2 基于特征交互显著性的图像修改方法，是否能在不引入对抗性伪影的情况下提升感知美学质量？
• RQ3 小尺度（局部）与大尺度（全局）交互在美学感知中的贡献有何不同？
• RQ4 是否存在可测量的像素级模糊/锐利变化，且该变化与美学判断的提升相关？
• RQ5 抑制非必要概念（低 |I(S)|）并增强显著概念（高 |I(S)|）在多大程度上与人类美学偏好一致？

主要发现

• 对小尺度概念（r_small ∈ {0.1n, 0.2n}）施加惩罚，导致前景物体锐化与背景模糊，符合常见摄影美学原则。
• 对大尺度概念（r_large ∈ {0.8n, 0.9n}）施加惩罚，产生相反效果——背景锐化而前景模糊，表明局部与全局上下文在美学中扮演不同角色。
• 对于具有负 Δ_pixel（模糊）的像素，P(F|Δ_pixel) 超过 0.5，表明当小尺度交互被惩罚时，前景模糊更可能发生。
• 修改后的图像被感知为比原始图像更具美感，支持了美学质量与神经表征中显著性增强及非必要性抑制相关的假设。
• 该方法成功避免引入分布外伪影，因其采用平滑且非对抗性的图像变换。
• 将网络效用分解为多变量交互项 I(S) 后发现，仅少数像素组显著影响分类置信度。