[论文解读] An Ensemble Model for Sentiment Analysis of Hindi-English Code-Mixed Data

Madan Gopal Jhanwar, Arpita Das|arXiv (Cornell University)|Jun 12, 2018

Sentiment Analysis and Opinion Mining参考文献 6被引用 20

一句话总结

本文提出了一种集成模型，结合基于字符三元组的LSTM与基于词n-gram的多项式朴素贝叶斯（MNB）分类器，用于对印地语-英语混合的社交媒体文本进行情感分析。通过利用LSTM学习序列模式，以及MNB检测关键词极性，该集成模型在真实数据集上实现了最先进的性能，准确率达到70.8%，优于所有传统方法和深度学习基线模型。

ABSTRACT

In multilingual societies like India, code-mixed social media texts comprise the majority of the Internet. Detecting the sentiment of the code-mixed user opinions plays a crucial role in understanding social, economic and political trends. In this paper, we propose an ensemble of character-trigrams based LSTM model and word-ngrams based Multinomial Naive Bayes (MNB) model to identify the sentiments of Hindi-English (Hi-En) code-mixed data. The ensemble model combines the strengths of rich sequential patterns from the LSTM model and polarity of keywords from the probabilistic ngram model to identify sentiments in sparse and inconsistent code-mixed data. Experiments on reallife user code-mixed data reveals that our approach yields state-of-the-art results as compared to several baselines and other deep learning based proposed methods.

研究动机与目标

• 解决在低资源、噪声大且语言不一致的印地语-英语混合社交媒体文本中进行情感分析的挑战。
• 克服深度学习模型在处理混合语料中常见罕见或未登录词时的局限性。
• 通过结合序列建模（LSTM）与关键词级极性检测（MNB）的优势，提升情感分类的准确性。
• 验证传统n-gram模型能够增强深度学习模型在低资源混合语境下的表现这一假设。
• 提出一种鲁棒的混合方法，在稀疏且不一致的混合语料数据上，其泛化能力优于单一模型。

提出的方法

• 该模型在双向LSTM网络中使用字符三元组作为子词特征，以捕捉混合语料中的序列与形态模式。
• 单独训练一个多项式朴素贝叶斯（MNB）分类器，基于词n-gram（一元组与二元组）检测关键词组合的情感极性。
• 通过将两个模型的输出按其在验证集上的准确率加权后相乘，融合生成最终预测结果。
• 该集成策略利用了LSTM建模长距离依赖的能力，以及MNB在检测罕见或俚语关键词方面的能力。
• 最终预测通过选择个体模型概率乘积中最大值的类别得出。
• 该方法在真实世界的印地语-英语混合语料数据集上进行评估，超参数在开发集上进行了调优。

实验结果

研究问题

• RQ1 结合深度学习与传统概率模型的混合模型是否能提升在低资源、混合语料的印地语-英语文本上的情感分类准确率？
• RQ2 基于字符三元组的LSTM与基于词n-gram的MNB模型在处理混合语料中的语言稀疏性与不一致性时，如何实现互补？
• RQ3 MNB模型引入的n-gram特征是否有助于缓解LSTM在罕见或拼写错误的情感词上的泛化失败问题？
• RQ4 在此情境下，组合深度学习模型与传统分类器输出的最优方法是什么？
• RQ5 该集成模型在混合语料情感分析任务中，相较于独立的深度学习与传统机器学习基线模型，其性能提升程度如何？

主要发现

• 所提出的集成模型在测试集上达到70.8%的准确率，优于所有基线模型，包括SVM、MNB及其他深度学习方法。
• 该集成模型的F1得分达到0.661，显著高于次优模型（基于子词组合的LSTM，F1为0.652）。
• 基于概率相乘的融合策略性能更优（70.8%），优于加权线性组合（69.1%），表明两模型间存在更强的协同效应。
• 定性分析表明，MNB模型在检测罕见或俚语关键词（如'fadu'（极棒）或'c******'（愚蠢））方面表现优异，而LSTM由于这些词在训练数据中频率过低而难以泛化。
• LSTM在处理较长、复杂的句子时表现更优，得益于其对序列依赖关系的建模能力；而MNB对拼写变体和词汇多样性更具鲁棒性。
• 结果验证了假设：将序列建模与关键词级极性检测相结合，可显著提升在低资源、噪声较大的混合语境下的鲁棒性与准确性。