[论文解读] Going Deeper for Multilingual Visual Sentiment Detection

Brendan Jou, Shih‐Fu Chang|arXiv (Cornell University)|May 30, 2016

Sentiment Analysis and Opinion Mining参考文献 13被引用 5

一句话总结

本文通过使用现代的 GoogLeNet 架构和来自 MVSO 数据集的更高保真度、标签受限的图像子集，训练更高精度的形容词-名词对（ANP）检测器，从而提升了多语言视觉情感检测性能。通过减少噪声标签，该方法在英语 ANP 检测中实现了高达 59.21% 的相对准确率提升，所有模型和图像列表均已公开，供研究使用。

ABSTRACT

This technical report details several improvements to the visual concept detector banks built on images from the Multilingual Visual Sentiment Ontology (MVSO). The detector banks are trained to detect a total of 9,918 sentiment-biased visual concepts from six major languages: English, Spanish, Italian, French, German and Chinese. In the original MVSO release, adjective-noun pair (ANP) detectors were trained for the six languages using an AlexNet-styled architecture by fine-tuning from DeepSentiBank. Here, through a more extensive set of experiments, parameter tuning, and training runs, we detail and release higher accuracy models for detecting ANPs across six languages from the same image pool and setting as in the original release using a more modern architecture, GoogLeNet, providing comparable or better performance with reduced network parameter cost. In addition, since the image pool in MVSO can be corrupted by user noise from social interactions, we partitioned out a sub-corpus of MVSO images based on tag-restricted queries for higher fidelity labels. We show that as a result of these higher fidelity labels, higher performing AlexNet-styled ANP detectors can be trained using the tag-restricted image subset as compared to the models in full corpus. We release all these newly trained models for public research use along with the list of tag-restricted images from the MVSO dataset.

研究动机与目标

• 通过使用现代深度学习架构训练更精确的 ANP 检测器，提升多语言视觉情感检测性能。
• 通过基于标签受限的 Flickr API 查询筛选图像，减少 MVSO 数据集中标签噪声，提升标签保真度。
• 公开发布优化后的 ANP 检测器库和经过筛选的标签受限图像子集，供公众研究使用。
• 评估标签质量对六种主要语言中 ANP 检测性能的影响。
• 对比架构改进与数据筛选在多语言情感检测中的性能增益。

提出的方法

• 采用微调后的 GoogLeNet 替代原始的 AlexNet 风格架构进行 ANP 检测，降低模型参数量的同时提升性能。
• 通过仅使用基于标签的元数据查询 Flickr API，创建了标签受限的图像子集，排除了社交互动带来的潜在噪声元数据。
• 在原始混合池（元数据 + 标签）和新的标签池（仅标签）图像子集上分别训练 ANP 检测器库，用于对比评估。
• 通过迁移学习，从 DeepSentiBank 微调初始化模型，使其具备情感偏置特征。
• 使用保留的测试集上的 top-1 和 top-5 分类准确率评估模型性能，并进行跨语言比较。
• 通过对比两种图像池在交集测试集上的性能，开展消融研究，以隔离标签质量的影响。

实验结果

研究问题

• RQ1 与原始的 AlexNet 风格模型相比，使用更现代的深度学习架构（如 GoogLeNet）是否能提升 ANP 检测性能？
• RQ2 使用更高保真度的标签受限图像子集，能在多大程度上提升 ANP 检测准确率？
• RQ3 架构改进与数据筛选的结合是否能在多语言视觉情感检测中带来显著的性能增益？
• RQ4 性能增益在不同语言之间如何变化，尤其是训练样本较少的语言？
• RQ5 检测准确率的提升主要源于更优的架构，还是更优的标签质量？

主要发现

• 基于 GoogLeNet 的 ANP 检测器在参数量更低的情况下，实现了与原始 AlexNet 风格模型相当或更优的性能。
• 与混合池模型相比，标签受限图像子集使英语 ANP 检测的 top-1 准确率相对提升了 59.21%。
• 所有语言在使用标签池训练时均表现出性能提升，其中德语达到 49.41% 的 top-1 准确率，法语达到 35.80%。
• 与标签池相比，混合池测试集上的性能下降约 10%，表明基于标签的标签在视觉概念检测中显著更可靠。
• 即使在较小的交集测试集上，标签池 ANP 检测器也优于混合池模型，证实了标签质量的影响。
• 结果表明，标签可靠性是多语言视觉情感检测中的关键因素，且经过筛选的数据可显著提升模型性能。