[论文解读] Corpora Preparation and Stopword List Generation for Arabic data in Social Network

Walaa Medhat, Ahmed H. Yousef+1 more|arXiv (Cornell University)|Oct 5, 2014

Sentiment Analysis and Opinion Mining参考文献 22被引用 5

一句话总结

本文提出了一种从社交媒体构建阿拉伯语语料库的方法，并为埃及口语阿拉伯语生成了特定方言的停用词列表，实验证明使用基于方言的停用词列表相较于传统的现代标准阿拉伯语（MSA）列表能提升情感分析性能。使用朴素贝叶斯和决策树分类器的实验表明，结合MSA和埃及方言停用词列表的性能优于仅使用MSA停用词列表。

ABSTRACT

This paper proposes a methodology to prepare corpora in Arabic language from online social network (OSN) and review site for Sentiment Analysis (SA) task. The paper also proposes a methodology for generating a stopword list from the prepared corpora. The aim of the paper is to investigate the effect of removing stopwords on the SA task. The problem is that the stopwords lists generated before were on Modern Standard Arabic (MSA) which is not the common language used in OSN. We have generated a stopword list of Egyptian dialect and a corpus-based list to be used with the OSN corpora. We compare the efficiency of text classification when using the generated lists along with previously generated lists of MSA and combining the Egyptian dialect list with the MSA list. The text classification was performed using Naïve Bayes and Decision Tree classifiers and two feature selection approaches, unigrams and bigram. The experiments show that the general lists containing the Egyptian dialects words give better performance than using lists of MSA stopwords only.

研究动机与目标

• 为解决当前阿拉伯语社交网络文本中缺乏针对埃及方言的停用词列表的问题，因为这些文本主要使用埃及方言而非现代标准阿拉伯语（MSA）。
• 开发一种适用于情感分析任务的阿拉伯语社交媒体数据语料准备流程。
• 从真实的社交媒体语料中生成针对埃及阿拉伯语的特定方言停用词列表。
• 评估不同停用词列表（MSA、埃及方言、组合）对情感分类性能的影响。
• 比较使用多种分类器时，基于单个词和双词特征选择在不同停用词集合下的有效性。

提出的方法

• 从在线社交媒体平台和点评网站收集并预处理阿拉伯语社交媒体数据，构建领域特定的语料库。
• 应用针对阿拉伯语方言（包括埃及口语形式）定制的文本规范化与分词技术。
• 从语料中提取高频功能词，形成针对埃及阿拉伯语的方言停用词列表。
• 通过合并埃及方言停用词列表与现有的MSA停用词列表，生成组合停用词列表。
• 使用单个词和双词特征，在情感标注数据上训练朴素贝叶斯和决策树分类器。
• 通过准确率指标评估分类性能，并比较不同停用词列表配置下的结果。

实验结果

研究问题

• RQ1 与仅使用基于MSA的停用词列表相比，使用从埃及方言阿拉伯语中提取的停用词列表是否能提升情感分类性能？
• RQ2 将MSA与埃及方言停用词列表结合使用，对阿拉伯语社交媒体文本的分类准确率有何影响？
• RQ3 在使用不同停用词列表时，情感分类性能是否依赖于特征表示的选择（单个词 vs. 双词）？
• RQ4 基于语料的埃及阿拉伯语停用词列表是否能在情感分析任务中优于传统的基于MSA的停用词列表？

主要发现

• 与仅使用基于MSA的停用词列表相比，使用针对埃及阿拉伯语的方言特定停用词列表显著提升了情感分类准确率。
• 将埃及方言停用词列表与MSA列表结合使用，其性能优于单独使用任一列表。
• 该方法在朴素贝叶斯和决策树分类器上均表现出一致性，表明其方法具有鲁棒性。
• 使用双词特征通常能提升性能，但当结合使用MSA和埃及方言停用词列表时，该优势最为显著。
• 基于语料的埃及阿拉伯语停用词列表比现有的基于MSA的列表更有效，凸显了在社交媒体NLP中进行方言特定预处理的重要性。