[论文解读] Identifying Biased Users in Online Social Networks to Enhance the Accuracy of Sentiment Analysis: A User Behavior-Based Approach

Amin Mahmoudi|arXiv (Cornell University)|May 12, 2021

Digital Marketing and Social Media参考文献 30被引用 5

一句话总结

本文提出一种基于用户行为的神经网络分类器，用于识别在线社交网络中持续呈现正面或负面情绪的偏见用户，通过检测心理行为模式而非仅依赖文本内容，从而提高情感分析的准确性。该方法在三个数据集上分别实现了89%、67%和81%的准确率，表明仅依靠行为信号即可有效预测情感偏见。

ABSTRACT

The development of an automatic way to extract user opinions about products, movies, and foods from online social network (OSN) interactions is among the main interests of sentiment analysis and opinion mining studies. Existing approaches in the sentiment analysis domain mostly do not discriminate the sentences of different types of users, even though some users are always negative and some are always positive. Thus, finding a way to identify these two types of user is significant because their attitudes can change the analysis of user reviews of businesses and products. Due to the complexity of natural language processing, pure text mining methods may lead to misunderstandings about the exact nature of the sentiments expressed in review text. In this study, we propose a neural network classifier to predict the presence of biased users on the basis of users' psychological behaviors. The identification of the psychological behaviors of users allows us to find overly positive and overly negative users and to categorize these users' attitudes regardless of the content of their review texts. The experiment result indicates that the biased users can be predicted based on user behavior at an accuracy rate of 89%, 67% and 81% for three different datasets.

研究动机与目标

• 解决在线社交网络中偏见用户扭曲整体情感趋势所带来的情感分析挑战。
• 认识到现有情感分析方法未能考虑无论内容如何都保持极端情感倾向的用户。
• 通过分析用户心理行为而非仅依赖文本情感，开发一种检测偏见用户的方法。
• 通过基于用户偏见特征对评论进行过滤或加权，提高情感分析的准确性。
• 通过识别和考虑社交媒体数据中的用户偏见，实现对产品、电影和服务更可靠的舆论挖掘。

提出的方法

• 使用从在线社交网络互动中提取的用户行为特征训练神经网络分类器。
• 建模诸如发帖频率、互动模式以及随时间变化的情感一致性等心理行为。
• 提取与文本内容无关的行为信号，以避免依赖可能具有误导性的语言线索。
• 训练分类器以区分具有持续正面、持续负面或中性情感倾向的用户。
• 将行为序列作为输入特征，预测用户是否具有极端情感偏见。
• 在真实世界数据集上应用该模型，评估其在不依赖基于文本的情感分析的情况下检测偏见用户的能力。

实验结果

研究问题

• RQ1 在不分析文本内容的情况下，在线社交网络中的用户行为模式能否可靠预测偏见情感倾向？
• RQ2 神经网络分类器在识别持续发布过度正面或负面评价的用户方面准确度如何？
• RQ3 行为特征在检测偏见用户方面相较于基于文本的情感分析，其表现优势有多大？
• RQ4 不同数据集如何影响基于行为的偏见检测在情感分析中的性能？
• RQ5 心理行为模式能否用于提高社交媒体情感分析的整体准确性？

主要发现

• 所提出的基于用户行为的方法在其中一个数据集上识别偏见用户的准确率达到89%。
• 在第二个数据集上，模型检测准确率为67%，表明在不同用户群体中存在性能差异。
• 第三个数据集的准确率为81%，表明该方法在多样化社交网络环境中的表现具有一致性。
• 结果证实，即使不检查评论文本，仅依靠行为模式也能有效预测情感偏见。
• 该方法降低了因极端用户扭曲情感分析结果而导致的误分类风险。
• 在用户偏见显著扭曲情感趋势的情境下，神经网络分类器的表现优于仅基于文本的情感分析。