[论文解读] Diving Deep into Sentiment: Understanding Fine-tuned CNNs for Visual Sentiment Prediction

Víctor Campos, Amaia Salvador+2 more|arXiv (Cornell University)|Aug 20, 2015

Visual Attention and Saliency Detection参考文献 33被引用 62

一句话总结

本文研究了用于视觉情感预测的微调卷积神经网络（CNN），表明通过移除最后一层全连接层（fc8）并使用更小、任务特定的头部重新训练，可提升性能。结果表明，fc7层的特征优于fc8层的特征，且数据增强可提高准确率，从而在基于Twitter的情感数据集上建立了新的最先进性能记录。

ABSTRACT

Visual media are powerful means of expressing emotions and sentiments. The constant generation of new content in social networks highlights the need of automated visual sentiment analysis tools. While Convolutional Neural Networks (CNNs) have established a new state-of-the-art in several vision problems, their application to the task of sentiment analysis is mostly unexplored and there are few studies regarding how to design CNNs for this purpose. In this work, we study the suitability of fine-tuning a CNN for visual sentiment prediction as well as explore performance boosting techniques within this deep learning setting. Finally, we provide a deep-dive analysis into a benchmark, state-of-the-art network architecture to gain insight about how to design patterns for CNNs on the task of visual sentiment prediction.

研究动机与目标

• 评估微调预训练CNN在视觉情感预测中的有效性。
• 分析微调CNN架构中各层对情感分类的贡献。
• 研究架构修改（如移除或替换全连接层）在低资源情感数据集上的性能提升效果。
• 评估数据增强和中级表示对情感预测准确率的影响。
• 为面向视觉情感分析的CNN架构设计提供见解。

提出的方法

• 在基于Twitter的图像数据集上，对CaffeNet（AlexNet的变体，ImageNet预训练）进行微调，以实现视觉情感预测。
• 在每一层的特征图上分别训练分类器，以评估各层对性能的贡献。
• 通过架构手术操作，移除最后一层全连接层（fc8），并替换为新的、更小的、任务特定的层（如fc6-4096，fc7-2）。
• 应用数据增强技术，包括随机裁剪和颜色抖动，以提升模型泛化能力。
• 在5个一致意见的Twitter数据集上使用5折交叉验证评估模型，比较不同架构下的性能表现。
• 使用视觉情感本体（基于ANP）作为中级表示进行对比，但发现fc7层的通用特征更为有效。

实验结果

研究问题

• RQ1 微调CNN中各层对视觉情感预测准确率的贡献如何？
• RQ2 移除或修改最后一层全连接层（fc8）对情感分类性能有何影响？
• RQ3 与原始的fc8相比，添加一个新层（如fc9-2）是否能提升性能？
• RQ4 数据增强如何影响微调CNN在低资源情感预测任务中的泛化能力和准确率？
• RQ5 来自中间层（如fc7）的通用深度特征是否能优于语义中级表示（如ANP）在情感预测中的表现？

主要发现

• 采用架构fc7-4096的模型在使用过采样时准确率达到0.803 ± 0.034，优于之前的最先进方法。
• 通过移除fc8并使用fc7作为最终层，实现了显著的性能提升，其准确率接近或超过[27]中完整微调模型的性能。
• 在fc6-4096上训练的模型始终预测多数类（正面情感），表明由于输出维度高且训练数据有限，泛化能力差。
• 采用fc9-2架构（在fc8后添加新层）的模型在使用过采样时准确率达到0.803 ± 0.034，略高于原始的fc8-1000（0.731 ± 0.036）。
• fc7层的特征在情感预测中比fc8更有效，表明中间表示能捕捉到更多相关的情感线索。
• 在fc8中加入ImageNet 1,000类的语义概念反而降低了性能，表明通用的、非情感特定的特征会阻碍情感分类。