[论文解读] Persian Sentiment Analyzer: A Framework based on a Novel Feature Selection Method

Ayoub Bagheri, Mohamad Saraee|arXiv (Cornell University)|Dec 27, 2014

Sentiment Analysis and Opinion Mining参考文献 28被引用 13

一句话总结

本文提出了一种针对波斯语情感分析的新型特征选择框架，解决了词形变化、空格不一致和非正式语言等挑战。通过结合词形还原与自定义特征选择方法，并应用朴素贝叶斯进行分类，该模型在人工收集的波斯语手机评论数据集上实现了更高的准确率，证明了该方法在低资源自然语言处理环境下的有效性。

ABSTRACT

In the recent decade, with the enormous growth of digital content in internet and databases, sentiment analysis has received more and more attention between information retrieval and natural language processing researchers. Sentiment analysis aims to use automated tools to detect subjective information from reviews. One of the main challenges in sentiment analysis is feature selection. Feature selection is widely used as the first stage of analysis and classification tasks to reduce the dimension of problem, and improve speed by the elimination of irrelevant and redundant features. Up to now as there are few researches conducted on feature selection in sentiment analysis, there are very rare works for Persian sentiment analysis. This paper considers the problem of sentiment classification using different feature selection methods for online customer reviews in Persian language. Three of the challenges of Persian text are using of a wide variety of declensional suffixes, different word spacing and many informal or colloquial words. In this paper we study these challenges by proposing a model for sentiment classification of Persian review documents. The proposed model is based on lemmatization and feature selection and is employed Naive Bayes algorithm for classification. We evaluate the performance of the model on a manually gathered collection of cellphone reviews, where the results show the effectiveness of the proposed approaches.

研究动机与目标

• 解决波斯语情感分析中特征选择研究不足的问题。
• 处理波斯语文本中的语言挑战，包括屈折后缀、可变空格和口语词汇。
• 开发一种专为波斯语在线评论设计的情感分类框架。
• 评估不同特征选择方法在低资源设置下对分类性能的影响。
• 在人工整理的波斯语手机评论数据集上展示所提模型的有效性。

提出的方法

• 该框架应用词形还原以规范化波斯语词形，减少形态变化。
• 提出一种新型特征选择方法，以识别并保留对情感分类最相关的特征。
• 通过消除无关和冗余特征来降低维度，提升计算效率。
• 由于朴素贝叶斯在文本分类任务中表现优异，因此选用其作为分类算法。
• 在人工收集的波斯语手机评论数据集上进行模型训练与评估。
• 使用标准分类指标衡量性能，结果表明相比基线方法准确率有所提升。

实验结果

研究问题

• RQ1 所提出的特征选择方法在波斯语文本情感分类准确率方面与现有方法相比如何？
• RQ2 词形还原在处理具有高度形态复杂性的波斯语评论时，能在多大程度上提升情感分类性能？
• RQ3 该框架在处理在线评论中非正式和口语化波斯语词汇方面的有效性如何？
• RQ4 特征选择对降低维度和提升波斯语情感分析分类速度的影响是什么？
• RQ5 所提模型能否泛化到手机评论以外的其他波斯语文本领域？

主要发现

• 与基线方法相比，所提出的特征选择方法在波斯语评论数据上显著提升了情感分类准确率。
• 词形还原有效减少了形态变化，增强了特征表示并提升了分类性能。
• 该框架在处理非正式和口语化波斯语方面表现出稳健性，这是低资源自然语言处理中的主要挑战。
• 通过特征选择实现的降维带来了更快的处理速度和更高的模型效率。
• 该模型在人工整理的波斯语手机评论数据集上表现优异，验证了其实际适用性。
• 结果证实了所提框架在波斯语低资源情感分析场景下的有效性。