[论文解读] Using Hadoop for Large Scale Analysis on Twitter: A Technical Report

Nikolaos Nodarakis, Spyros Sioutas+2 more|arXiv (Cornell University)|Feb 3, 2016

Sentiment Analysis and Opinion Mining参考文献 24被引用 11

一句话总结

本文提出MR-SAT，一种基于Hadoop的MapReduce模型构建的可扩展情感分析框架，利用话题标签和表情符号作为自动情感标签，以分布式并行方式对推文情感进行分类。通过集成布隆过滤器压缩特征向量，该方法实现了显著的存储减少（15–20%）和I/O效率提升，从而加快执行速度，并在大规模Twitter数据集上实现线性可扩展性，且分类准确率较高。

ABSTRACT

Sentiment analysis (or opinion mining) on Twitter data has attracted much attention recently. One of the system's key features, is the immediacy in communication with other users in an easy, user-friendly and fast way. Consequently, people tend to express their feelings freely, which makes Twitter an ideal source for accumulating a vast amount of opinions towards a wide diversity of topics. This amount of information offers huge potential and can be harnessed to receive the sentiment tendency towards these topics. However, since none can invest an infinite amount of time to read through these tweets, an automated decision making approach is necessary. Nevertheless, most existing solutions are limited in centralized environments only. Thus, they can only process at most a few thousand tweets. Such a sample, is not representative to define the sentiment polarity towards a topic due to the massive number of tweets published daily. In this paper, we go one step further and develop a novel method for sentiment learning in the MapReduce framework. Our algorithm exploits the hashtags and emoticons inside a tweet, as sentiment labels, and proceeds to a classification procedure of diverse sentiment types in a parallel and distributed manner. Moreover, we utilize Bloom filters to compact the storage size of intermediate data and boost the performance of our algorithm. Through an extensive experimental evaluation, we prove that our solution is efficient, robust and scalable and confirm the quality of our sentiment identification.

研究动机与目标

• 解决集中式情感分析系统仅能处理数千条推文所导致的可扩展性限制。
• 通过利用Hadoop的MapReduce框架，实现在Twitter上的大规模、分布式情感分析。
• 在不牺牲分类性能的前提下，使用布隆过滤器减少特征向量表示中的存储和I/O开销。
• 在大规模Twitter数据集上，实现二元和多类情感分类的高准确率与可扩展性。
• 为实时情感分析提供一个强大、高效且可扩展的框架，适用于大数据环境。

提出的方法

• 该框架利用话题标签和表情符号作为自动情感标签，消除人工标注，从而实现大规模训练数据的自动生成。
• 从推文内容构建高维特征向量，采用词频和TF-IDF加权方法表示文本特征。
• 采用布隆过滤器紧凑表示特征集合，降低MapReduce处理过程中的存储和I/O成本。
• 利用机器学习模型对基于话题标签和表情符号生成的标注推文数据进行二元和多类分类。
• 系统在Hadoop上实现，利用MapReduce范式将计算分布在集群中，实现水平可扩展性。
• 该框架支持动态数据分区，并在不同数据规模和特征集维度下评估性能。

实验结果

研究问题

• RQ1 基于MapReduce的系统是否能在大规模Twitter数据的情感分析中实现线性可扩展性？
• RQ2 使用话题标签和表情符号作为自动情感标签，在训练情感分类器时效果如何？
• RQ3 布隆过滤器在情感分析的特征向量表示中，能在多大程度上减少存储并提升性能？
• RQ4 布隆过滤器中k值（哈希函数数量）的选择对二元和多类设置下的分类准确率有何影响？
• RQ5 在分布式情感分析流水线中使用布隆过滤器时，预处理时间与执行时间之间的权衡如何？

主要发现

• 在所有实验配置中，布隆过滤器将特征向量的存储大小减少了15–20%，显著降低了I/O开销。
• 尽管引入了误报，布隆过滤器仍保持了高分类性能，其调和F值在二元和多类设置下对不同k值均保持稳定。
• 在未使用布隆过滤器的情况下，增加k值可提升性能——尤其在二元分类中表现明显，表明布隆过滤器降低了对高k值的需求。
• 该系统表现出接近线性的可扩展性：当数据规模增加至原始数据集的0.2至0.8倍时，执行时间成比例增长，证实了其强大的可扩展性。
• 布隆过滤器通过减少I/O略微提升了执行速度，但在多类表情符号分类中，其优势微乎其微。
• 该框架实现了较高的调和F值（二元表情符号分类最高达0.79，多类表情符号分类达0.60），证实了其强大的分类性能。