[论文解读] Towards Sub-Word Level Compositions for Sentiment Analysis of Hindi-English Code Mixed Text

Ameya Prabhu, Aditya Joshi+2 more|arXiv (Cornell University)|Nov 2, 2016

Sentiment Analysis and Opinion Mining被引用 69

一句话总结

本文提出了一种用于印地语-英语混用文本情感分析的子词-LSTM 模型，通过子词级别的表征来捕捉嘈杂、拼写错误的社交媒体文本中的词素情感线索。该方法在新创建的印地语-英语混用数据集上实现了 69.7% 的准确率和 0.658 的 F1 分数，比传统方法高出 4-5%，比现有系统高出 18%。

ABSTRACT

Sentiment analysis (SA) using code-mixed data from social media has several applications in opinion mining ranging from customer satisfaction to social campaign analysis in multilingual societies. Advances in this area are impeded by the lack of a suitable annotated dataset. We introduce a Hindi-English (Hi-En) code-mixed dataset for sentiment analysis and perform empirical analysis comparing the suitability and performance of various state-of-the-art SA methods in social media. In this paper, we introduce learning sub-word level representations in LSTM (Subword-LSTM) architecture instead of character-level or word-level representations. This linguistic prior in our architecture enables us to learn the information about sentiment value of important morphemes. This also seems to work well in highly noisy text containing misspellings as shown in our experiments which is demonstrated in morpheme-level feature maps learned by our model. Also, we hypothesize that encoding this linguistic prior in the Subword-LSTM architecture leads to the superior performance. Our system attains accuracy 4-5% greater than traditional approaches on our dataset, and also outperforms the available system for sentiment analysis in Hi-En code-mixed text by 18%.

研究动机与目标

• 解决印地语-英语混用社交媒体文本情感分析中缺乏标注数据集的问题。
• 应对混用文本中拼写变异、形态复杂性和噪声带来的挑战。
• 通过在 LSTM 中编码语言先验信息，利用子词级别的表征提升情感分类性能。
• 证明子词特征在捕捉与情感相关的词素方面优于字符级别表征。
• 验证将语言先验信息整合到网络架构中可提升模型在嘈杂、低资源混用文本上的性能。

提出的方法

• 提出一种子词-LSTM 架构，学习子词级别的表征，而非字符或词级别。
• 使用字节对编码（BPE）或类似子词分词方法，将词语拆分为有意义的词素单元。
• 在新标注的印地语-英语混用数据集上，使用批量大小为 128 的 Adam 优化器端到端训练模型。
• 可视化网络中的卷积滤波器，分析模型如何学习与情感相关的子词模式。
• 在相同数据集上与字符级别 LSTM、传统分类器（SVM、NB）以及基于词典的方法进行性能对比。
• 在 SemEval-2013 数据集上进行交叉验证，以验证子词方法的泛化能力。

实验结果

研究问题

• RQ1 与字符级别或词级别表征相比，子词级别表征是否能提升在嘈杂、混用的印地语-英语文本中的情感分类性能？
• RQ2 将语言先验信息（如词素结构）整合到 RNN 架构中，对低资源、嘈杂混用文本的性能有何影响？
• RQ3 社交媒体文本中的拼写变异和形态扭曲在多大程度上阻碍了传统情感分析方法？
• RQ4 Subword-LSTM 模型是否能在其他混用或嘈杂文本设置中良好泛化，如在 SemEval-2013 上验证？
• RQ5 学习到的滤波器可视化结果是否能证实模型即使在严重拼写错误的词语中也能捕捉到与情感相关的子词模式？

主要发现

• Subword-LSTM 模型在所提出的印地语-英语混用数据集上实现了 69.7% 的准确率和 0.658 的 F1 分数，比传统方法高出 4-5 个百分点。
• 该模型在印地语-英语混用文本情感分析中性能比现有最佳系统高出 18%。
• 子词级别表征显著优于字符级别 LSTM，后者仅达到 59.8% 的准确率和 0.511 的 F1 分数。
• 使用单频特征的多项式朴素贝叶斯优于 SVM 和 TF-IDF 基线，表明在该稀疏数据集上减少稀疏性可提升结果。
• 基于词典的方法因拼写错误而失效，错误的音译导致无法准确查找情感极性。
• 可视化结果证实，即使在严重拼写错误的词语（如 'btwn' 或 'cooolll'）中，模型也能学习到与情感相关的子词片段。