[论文解读] Incorporating Emotion and Personality-Based Analysis in User-Centered Modelling

Mohamed M. Mostafa, Tom Crick+2 more|arXiv (Cornell University)|Aug 10, 2016

Sentiment Analysis and Opinion Mining参考文献 25被引用 5

一句话总结

本文提出了一种以用户为中心的建模框架，整合了人格特质（大五人格）和社会情感基调（喜悦、悲伤、愤怒、厌恶），以预测在线社交系统中的系统状态（例如，故障或空闲）。通过使用 IBM Watson 情感分析器和 LIWC 进行语言分析，该模型在 57 个测试实例中对服务器状态的分类准确率达到 75.44%，表明基于情感与人格的分析可提升预测建模能力，从而改善用户体验。

ABSTRACT

Understanding complex user behaviour under various conditions, scenarios and journeys can be fundamental to the improvement of the user-experience for a given system. Predictive models of user reactions, responses -- and in particular, emotions -- can aid in the design of more intuitive and usable systems. Building on this theme, the preliminary research presented in this paper correlates events and interactions in an online social network against user behaviour, focusing on personality traits. Emotional context and tone is analysed and modelled based on varying types of sentiments that users express in their language using the IBM Watson Developer Cloud tools. The data collected in this study thus provides further evidence towards supporting the hypothesis that analysing and modelling emotions, sentiments and personality traits provides valuable insight into improving the user experience of complex social computer systems.

研究动机与目标

• 开发一种基于用户生成的社交媒体内容中的人格特质与情感基调，预测系统状态（例如，故障或空闲）的预测模型。
• 探究在线互动中情感表达与人格特质之间的相关性。
• 评估使用 IBM Watson 开发者云等低成本、可扩展工具进行社会技术系统中情感与人格分析的可行性。
• 通过心理语言学画像，为自适应系统中提升用户体验提供基础框架。

提出的方法

• 采用 IBM Watson 情感分析器从在线社交网络的文本互动中提取情感基调（喜悦、悲伤、愤怒、厌恶）。
• 使用 LIWC 心理语言学词典识别与人格和情感状态相关的心理意义词类。
• 应用线性回归与皮尔逊相关性分析，识别人格维度（开放性、外向性、尽责性、神经质）与情感基调之间的显著关系。
• 利用选定的输入特征（开放性、外向性、尽责性、神经质、喜悦、悲伤、愤怒、厌恶）构建预测模型，以分类系统状态（空闲或故障）。
• 通过 57 个测试实例评估模型性能，报告准确率、卡帕统计量及误差指标（平均绝对误差、均方根误差）。

实验结果

研究问题

• RQ1 人格特质（大五人格）在多大程度上与在线社交媒体互动中表达的情感基调相关？
• RQ2 基于情感与人格的分析能否提升在线平台中系统状态（例如，故障或空闲）的预测能力？
• RQ3 哪些情感基调与人格维度最能预测用户互动中的系统状态变化？
• RQ4 IBM Watson 情感分析器在捕捉社交媒体文本中细微情感与人格信号方面的有效性如何？

主要发现

• 该模型在 57 个测试实例中对系统状态（空闲或故障）的分类准确率达到 75.44%，其中 43 例正确分类，14 例错误分类。
• 卡帕统计量为 0.5295，表明存在中等程度的超出偶然的一致性，支持该模型预测的可靠性。
• 神经质与悲伤（r = -0.488）呈最强正相关，与厌恶（r = 0.379）也呈正相关，而喜悦与开放性呈正相关（r = 0.267）。
• 宜人性与任何情感基调均无显著相关性，表明在此情境下预测能力有限。
• 尽管愤怒在线性回归中未达显著性，但其皮尔逊相关系数（r = 0.3 至 0.5）表明其作为输入特征具有潜在价值。
• 该模型的平均绝对误差（0.3432）与均方根误差（0.4246）表明预测误差适中，对于小样本数据集的初步研究而言可接受。