[论文解读] Analyzing Roles of Classifiers and Code-Mixed factors for Sentiment Identification

Soumil Mandal, Dipankar Das|arXiv (Cornell University)|Jan 8, 2018

Sentiment Analysis and Opinion Mining参考文献 1被引用 13

一句话总结

本文研究了以罗马字母书写的英孟混合文本中的情感识别，评估了分类器及代码混用因素。使用结合英文与混合语言特征的SVM模型，准确率达到72.50%，显著优于仅使用英文特征训练的模型，后者最高准确率为59.00%（使用朴素贝叶斯模型）。

ABSTRACT

Multilingual speakers often switch between languages to express themselves on social communication platforms. Sometimes, the original script of the language is preserved, while using a common script for all the languages is quite popular as well due to convenience. On such occasions, multiple languages are being mixed with different rules of grammar, using the same script which makes it a challenging task for natural language processing even in case of accurate sentiment identification. In this paper, we report results of various experiments carried out on movie reviews dataset having this code-mixing property of two languages, English and Bengali, both typed in Roman script. We have tested various machine learning algorithms trained only on English features on our code-mixed data and have achieved the maximum accuracy of 59.00% using Naive Bayes (NB) model. We have also tested various models trained on code-mixed data, as well as English features and the highest accuracy of 72.50% was obtained by a Support Vector Machine (SVM) model. Finally, we have analyzed the misclassified snippets and have discussed the challenges needed to be resolved for better accuracy.

研究动机与目标

• 为解决在社交媒体等语境中英孟等语言交织的多语言代码混用文本中情感识别的挑战。
• 评估仅基于英文特征训练的机器学习模型在代码混用数据情感分类中的有效性。
• 评估引入代码混用语言特征对情感分类性能的影响。
• 识别并分析误分类样本，揭示代码混用情感分析中的持续性挑战。

提出的方法

• 本研究使用包含以罗马字母书写的英孟混合文本的电影评论数据集。
• 训练多种机器学习模型（包括朴素贝叶斯（NB）和支持向量机（SVM））仅基于英文特征，以评估基线性能。
• 针对从混合语言文本中提取的特征（包括词汇、形态和句法线索）训练独立模型，涵盖两种语言的特征。
• 采用混合方法，将英文特征与代码混用特征结合，以提升模型泛化能力并捕捉跨语言情感信号。
• 使用标准指标评估各模型性能，以准确率作为主要评估结果。
• 对误分类样本进行人工分析，识别代码混用情感分类中的语言与结构挑战。

实验结果

研究问题

• RQ1 仅基于英文特征训练的模型在英孟混合文本上的表现如何？
• RQ2 引入代码混用语言特征对情感分类准确率有何影响？
• RQ3 与仅使用英文特征的模型相比，哪种机器学习模型在代码混用特征上表现最佳？
• RQ4 导致代码混用情感分析误分类的主要语言与结构挑战是什么？
• RQ5 分类器如何处理诸如虚假同源词、借词及混合句法等代码混用模式在情感语境中的表现？

主要发现

• 仅使用英文特征的模型中，朴素贝叶斯模型达到最高准确率59.00%。
• 使用英文与代码混用特征组合训练的支持向量机（SVM）模型达到最高准确率72.50%。
• 仅基于英文特征训练的模型在代码混用数据上泛化能力有限，表明需要采用语言包容性特征工程。
• 误分类常与模糊的代码混用模式（如虚假同源词和句法不一致）相关。
• 分析表明，代码混用文本中的形态句法复杂性与词汇歧义显著阻碍情感分类。
• 结果表明，代码混用特征对于提升模型性能至关重要，仅依靠单语英文特征无法实现更高性能。