[论文解读] Photo Filter Recommendation by Category-Aware Aesthetic Learning

Wei-Tse Sun, Ting-Hsuan Chao+2 more|arXiv (Cornell University)|Aug 18, 2016

Visual Attention and Saliency Detection参考文献 26被引用 7

一句话总结

本文提出一种类别感知的美学学习框架，采用多通道卷积神经网络（CNN）与成对损失函数，基于用户偏好推荐照片滤镜。通过利用一个新颖的众包数据集（FACD），包含42,240对已过滤图像，该方法在滤镜推荐准确率上相比传统美学分类方法实现了12%的相对提升。

ABSTRACT

Nowadays, social media has become a popular platform for the public to share photos. To make photos more visually appealing, users usually apply filters on their photos without domain knowledge. However, due to the growing number of filter types, it becomes a major issue for users to choose the best filter type. For this purpose, filter recommendation for photo aesthetics takes an important role in image quality ranking problems. In these years, several works have declared that Convolutional Neural Networks (CNNs) outperform traditional methods in image aesthetic categorization, which classifies images into high or low quality. Most of them do not consider the effect on filtered images; hence, we propose a novel image aesthetic learning for filter recommendation. Instead of binarizing image quality, we adjust the state-of-the-art CNN architectures and design a pairwise loss function to learn the embedded aesthetic responses in hidden layers for filtered images. Based on our pilot study, we observe image categories (e.g., portrait, landscape, food) will affect user preference on filter selection. We further integrate category classification into our proposed aesthetic-oriented models. To the best of our knowledge, there is no public dataset for aesthetic judgment with filtered images. We create a new dataset called Filter Aesthetic Comparison Dataset (FACD). It contains 28,160 filtered images based on the AVA dataset and 42,240 reliable image pairs with aesthetic annotations using Amazon Mechanical Turk. It is the first dataset containing filtered images and user preference labels. We conduct experiments on the collected FACD for filter recommendation, and the results show that our proposed category-aware aesthetic learning outperforms aesthetic classification methods (e.g., 12% relative improvement).

研究动机与目标

• 为解决从日益增多的滤镜选项中选择最优滤镜的挑战，特别是考虑到用户偏好因图像类别而异。
• 通过将图像美学建模为成对比较而非绝对质量评分，更准确地反映人类偏好，从而提升滤镜推荐效果。
• 开发一种深度学习框架，将图像类别分类与美学响应学习相结合，以实现更好的泛化能力与性能表现。
• 创建并发布一个新公开数据集FACD，包含42,240对已过滤图像及其用户偏好标注，用于美学排序评估。
• 证明类别感知美学学习在滤镜推荐任务中优于标准美学分类方法。

提出的方法

• 设计一种多通道CNN架构，其中每个通道处理同一输入图像的不同滤镜版本，以学习不同的美学响应。
• 引入一种自定义的成对损失函数，促使模型根据众包比较中的用户偏好，将高质量滤镜排在低质量滤镜之上。
• 在多任务学习设置中，将图像类别分类作为辅助任务，以提升美学响应预测的鲁棒性与准确性。
• 通过将最终分类层替换为成对排序头，微调最先进的CNN架构（如ResNet、VGG）用于美学排序。
• 使用FACD数据集端到端训练模型，每个训练样本由三元组构成：源图像、两个滤镜版本及一个偏好标签，指示哪个滤镜更受青睐。
• 利用网络学习到的美学评分对滤镜进行排序，并为给定输入图像推荐得分最高的滤镜。

实验结果

研究问题

• RQ1 在滤镜推荐系统中，引入图像类别信息在多大程度上提升了性能？
• RQ2 在滤镜推荐背景下，基于成对比较的学习方法是否优于传统的图像美学分类方法？
• RQ3 不同滤镜类型（如高对比度、暖色调）在各类图像类别中对用户偏好的影响程度如何？
• RQ4 当在成对美学比较数据集上进行训练时，CNN模型对未见过的滤镜图像的泛化能力如何？
• RQ5 滤镜特有的视觉特征（如亮度、饱和度、色彩色调）对模型预测用户偏好的能力有何影响？

主要发现

• 所提出的类别感知美学学习方法在滤镜推荐性能上相比基线美学分类方法实现了12%的相对提升。
• 模型与人类偏好高度一致，表现为预测的滤镜分布与各类图像中的真实分布高度吻合。
• 高对比度与强色彩增强滤镜（如Hefe、Mayfair、XProII）始终更受青睐，且模型成功学习到将其排在更高位置。
• 模型对对比度的敏感度高于对色温的敏感度，例如XProII虽与Gotham具有相似的暖色调效果，但更受青睐。
• FACD数据集为滤镜推荐系统提供了可靠的评估基础，并揭示用户偏好高度依赖于图像类别与滤镜类型。
• 即使是一个简单的单通道CNN，其在AVA基准测试上的表现也比传统手工特征方法（如Fisher Vector）高出近5%，证实了深度学习在美学排序中的有效性。