[论文解读] Effective Aesthetics Prediction with Multi-level Spatially Pooled Features

Vlad Hosu, Bastian Goldlücke+1 more|arXiv (Cornell University)|Apr 2, 2019

Visual Attention and Saliency Detection参考文献 21被引用 6

一句话总结

本文提出了一种新颖的深度学习框架，用于美学预测，利用从预训练的 InceptionResNet-v2 网络中提取的多层级空间池化（MLSP）特征，实现全分辨率输入并实现高效训练，无需图像缩放或裁剪。该方法在 AVA 数据集上实现了 0.756 的新 SOTA 斯皮尔曼等级相关系数，显著优于依赖下采样或裁剪图像的先前工作。

ABSTRACT

We propose an effective deep learning approach to aesthetics quality assessment that relies on a new type of pre-trained features, and apply it to the AVA data set, the currently largest aesthetics database. While previous approaches miss some of the information in the original images, due to taking small crops, down-scaling or warping the originals during training, we propose the first method that efficiently supports full resolution images as an input, and can be trained on variable input sizes. This allows us to significantly improve upon the state of the art, increasing the Spearman rank-order correlation coefficient (SRCC) of ground-truth mean opinion scores (MOS) from the existing best reported of 0.612 to 0.756. To achieve this performance, we extract multi-level spatially pooled (MLSP) features from all convolutional blocks of a pre-trained InceptionResNet-v2 network, and train a custom shallow Convolutional Neural Network (CNN) architecture on these new features.

研究动机与目标

• 解决现有深度学习方法在图像缩放、裁剪或变形过程中导致的美学预测性能下降问题。
• 在不产生分辨率瓶颈的情况下，实现对全分辨率 AVA 数据集（最高达 800×800 像素）的有效训练。
• 通过利用来自预训练模型的多层级、空间池化特征，提升基于相关性的度量指标（如 SRCC）。
• 通过使用固定大小的特征进行分阶段训练，减少 GPU 显存占用并加速训练。
• 证明：当预训练特征在多个层级上进行空间池化时，其性能优于端到端的美学评估训练。

提出的方法

• 从预训练的 InceptionResNet-v2 网络的所有卷积块中，提取高分辨率图像的多层级空间池化（MLSP）特征。
• 将这些紧凑且与分辨率无关的特征（例如 5×5×16,928）存储在磁盘上，以实现特征提取与下游训练的解耦。
• 在 MLSP 特征上训练一个浅层、定制的 CNN 头部，以支持大批次训练并加快收敛速度。
• 同时使用窄（1×1×b）和宽（5×5×b）的 MLSP 特征头部，以优化不同空间与通道表示。
• 在特征提取过程中应用数据增强，以提升泛化能力，同时保持原始图像分辨率。
• 将特征提取与模型训练解耦，以规避 GPU 显存限制，实现在高分辨率图像上的高效、可扩展学习。

实验结果

研究问题

• RQ1 在训练过程中避免图像缩放或裁剪，是否能显著提升美学预测性能？
• RQ2 使用来自预训练网络的多层级空间池化特征，是否能比端到端训练获得与人类评分美学更优的相关性？
• RQ3 使用高分辨率特征的分阶段训练流程，是否能降低 GPU 显存占用和训练时间，同时保持或提升性能？
• RQ4 主干网络架构的选择（例如 InceptionResNet-v2 与 Inception-v3）如何影响提取的感知特征质量，进而影响美学预测？
• RQ5 技术性图像质量（如锐度、噪点）在多大程度上主导模型预测，相较于构图或内容因素？

主要发现

• 所提方法在 AVA 数据集上实现了 0.756 的斯皮尔曼等级相关系数（SRCC），显著优于此前 SOTA 的 0.612。
• 该模型在二分类准确率（81.7%）上与当前 SOTA 水平相当，但在相关性度量上实现显著超越。
• 在不缩放或裁剪图像的情况下进行全分辨率图像训练，可获得更优性能，可能归因于保留了模糊、噪点等细微技术质量线索。
• 从 InceptionResNet-v2 提取的 MLSP 特征优于从 Inception-v3 提取的特征，表明更深或更先进的架构能生成更优的感知表征。
• 采用 MLSP 特征的分阶段训练显著降低 GPU 显存占用，并使训练速度提升 20 倍至 200 倍，单个 epoch 仅需 10 分钟（宽 MLSP 特征）。
• 失败案例显示，模型过度强调技术质量方面，导致在内容强烈但存在技术缺陷的图像上误差更高，表明模型存在对可测量图像质量而非主观美感的偏差。