[论文解读] Modeling Emotion Influence from Images in Social Networks

Xiaohui Wang, Jia Jia+2 more|arXiv (Cornell University)|Jan 17, 2014

Image Retrieval and Classification Techniques参考文献 14被引用 3

一句话总结

本文提出了一种概率因子图模型，通过整合视觉内容、时间情绪模式和社会网络效应，捕捉社交媒体中图像带来的情绪影响。与SVM相比，该模型将情绪预测准确率提高了5%，证明社会影响显著提升了Flickr等平台上的基于图像的情绪分类性能。

ABSTRACT

Images become an important and prevalent way to express users' activities, opinions and emotions. In a social network, individual emotions may be influenced by others, in particular by close friends. We focus on understanding how users embed emotions into the images they uploaded to the social websites and how social influence plays a role in changing users' emotions. We first verify the existence of emotion influence in the image networks, and then propose a probabilistic factor graph based emotion influence model to answer the questions of "who influences whom". Employing a real network from Flickr as experimental data, we study the effectiveness of factors in the proposed model with in-depth data analysis. Our experiments also show that our model, by incorporating the emotion influence, can significantly improve the accuracy (+5%) for predicting emotions from images. Finally, a case study is used as the anecdotal evidence to further demonstrate the effectiveness of the proposed model.

研究动机与目标

• 探究基于图像的社交媒体（如Flickr）中是否存在情绪影响。
• 开发一种系统化的概率模型，以捕捉用户情绪如何受到朋友上传图像的影响。
• 通过整合社会影响、视觉特征和时间动态，提升基于图像的情绪预测准确率。
• 通过在真实Flickr数据上的实证评估和案例研究，验证模型的有效性。

提出的方法

• 提出一种概率因子图模型，联合建模情绪影响，整合三个关键因素：内容相关性（视觉特征）、时间相关性（过去情绪）和社会相关性（朋友影响）。
• 模型使用因子函数表示朋友情绪对用户情绪的影响，具体包括即时、稳定和短暂三种影响模式的函数。
• 通过因子图上的最大后验概率（MAP）估计进行情绪预测，结合图像证据、用户历史记录和社会网络结构。
• 模型在包含125万张图像、来自4,725名用户、持续12周的真实Flickr数据集上进行训练和评估。
• 开展特征选择和消融研究，评估视觉、时间、社会三因素对预测性能的贡献。

实验结果

研究问题

• RQ1 在用户通过分享图像表达情绪的基于图像的社交媒体中，是否存在情绪影响？
• RQ2 当情绪通过图像表达时，如何建模并量化用户之间的社会影响？
• RQ3 视觉特征、时间情绪模式和社会网络结构在多大程度上提升了情绪预测准确率？
• RQ4 哪些社会影响模式（如即时、稳定、短暂）对情绪预测贡献最大？

主要发现

• 配对抽样检验表明，当一名用户有超过两名朋友上传了‘快乐’图像时，该用户也上传‘快乐’图像的可能性几乎翻倍。
• 与SVM相比，所提模型将情绪预测准确率提高了5%，且在所有情绪类别中F1值均有显著提升。
• ‘稳定影响’因子（f5）对性能贡献最大，表明情绪影响具有持久性，而非短暂现象。
• 移除社会影响因子（Model-f4）导致性能下降最大，证实社会相关性是模型中最具影响力的因子。
• 用户Mike的案例研究显示，模型正确推断出双向情绪影响（如从Mike到朋友d），且与图像内容和时间的视觉与时间观察结果一致。