[论文解读] Improved Twitter Sentiment Analysis Using Naive Bayes and Custom Language Model

Angela S. Lin|arXiv (Cornell University)|Nov 10, 2017

Sentiment Analysis and Opinion Mining参考文献 2被引用 3

一句话总结

本文提出了一种混合方法，结合朴素贝叶斯分类与自建的自然语言模型，以提升在开发者社区中对Twitter情感分析的准确性，特别针对推广内容。该方法在识别产品特定推广内容方面实现了90%的准确率，从而提升了微软Azure等企业用户贡献度评分。

ABSTRACT

In the last couple decades, social network services like Twitter have generated large volumes of data about users and their interests, providing meaningful business intelligence so organizations can better understand and engage their customers. All businesses want to know who is promoting their products, who is complaining about them, and how are these opinions bringing or diminishing value to a company. Companies want to be able to identify their high-value customers and quantify the value each user brings. Many businesses use social media metrics to calculate the user contribution score, which enables them to quantify the value that influential users bring on social media, so the businesses can offer them more differentiated services. However, the score calculation can be refined to provide a better illustration of a user's contribution. Using Microsoft Azure as a case study, we conducted Twitter sentiment analysis to develop a machine learning classification model that identifies tweet contents and sentiments most illustrative of positive-value user contribution. Using data mining and AI-powered cognitive tools, we analyzed factors of social influence and specifically, promotional language in the developer community. Our predictive model was a combination of a traditional supervised machine learning algorithm and a custom-developed natural language model for identifying promotional tweets, that identifies a product-specific promotion on Twitter with a 90% accuracy rate.

研究动机与目标

• 通过改进针对商业智能的情感分析，提升社交媒体中的用户贡献度评分。
• 识别开发者社区中Twitter帖子中的推广语言，以量化用户价值。
• 开发一种结合传统分类与自建语言模型的机器学习模型，以提升准确性。
• 将该模型应用于微软Azure开发者社区的真实数据，以获得可操作的洞察。

提出的方法

• 本研究采用在标注Twitter数据上训练的监督式朴素贝叶斯分类器，用于情感与内容类型分类。
• 开发了一种自建的自然语言模型，用于检测推广语言，特别是特定产品的提及。
• 将两个模型结合，以提升分类性能，特别是在识别高价值推广内容方面。
• 使用数据挖掘与AI驱动的认知工具，提取与社交影响力及推广意图相关的特征。
• 在微软Azure开发者社区的真实Twitter数据上对模型进行评估。
• 最终的预测模型整合了传统机器学习与领域特定的语言模式，以提升准确性。

实验结果

研究问题

• RQ1 朴素贝叶斯与自建语言模型的混合模型是否能提升在Twitter上检测推广推文的效果？
• RQ2 此类模型在开发者社区中识别产品特定推广内容的准确度如何？
• RQ3 融入领域特定语言模式在用户贡献度评分的情感分析中能提升多少？
• RQ4 该方法是否能为量化社交媒体平台上的用户价值提供更精细的指标？

主要发现

• 所提出的模型在识别Twitter上的产品特定推广内容方面达到了90%的准确率。
• 自建语言模型的整合显著提升了推广内容的检测效果，超越仅使用标准朴素贝叶斯模型的表现。
• 该模型成功捕捉了开发者社区中的推广语言，从而实现了对用户贡献度的更好量化。
• 该方法为使用社交媒体数据的企业提供了更准确且可操作的用户贡献度评分。