[论文解读] CMSAOne@Dravidian-CodeMix-FIRE2020: A Meta Embedding and Transformer model for Code-Mixed Sentiment Analysis on Social Media Text

Suman Dowlagar, Radhika Mamidi|arXiv (Cornell University)|Jan 22, 2021

Natural Language Processing Techniques参考文献 28被引用 11

一句话总结

该论文提出了一种元嵌入方法，结合 fastText、ELMo、TF-IDF 和具有 GRU 的 Transformer 模型，用于德罗彼达语混合社交媒体文本的情感分析。该方法在泰米尔语和马拉雅拉姆语混合数据集上分别取得了 0.58 和 0.66 的 F1 分数，通过整合多个嵌入源的上下文丰富表示，实现了性能提升。

ABSTRACT

Code-mixing(CM) is a frequently observed phenomenon that uses multiple languages in an utterance or sentence. CM is mostly practiced on various social media platforms and in informal conversations. Sentiment analysis (SA) is a fundamental step in NLP and is well studied in the monolingual text. Code-mixing adds a challenge to sentiment analysis due to its non-standard representations. This paper proposes a meta embedding with a transformer method for sentiment analysis on the Dravidian code-mixed dataset. In our method, we used meta embeddings to capture rich text representations. We used the proposed method for the Task: "Sentiment Analysis for Dravidian Languages in Code-Mixed Text", and it achieved an F1 score of $0.58$ and $0.66$ for the given Dravidian code mixed data sets. The code is provided in the Github https://github.com/suman101112/fire-2020-Dravidian-CodeMix.

研究动机与目标

• 为解决德罗彼达语混合社交媒体文本中情感分析的挑战，其中语言混合和非标准拼写使自然语言处理任务复杂化。
• 通过将 fastText、ELMo 和 TF-IDF 多个嵌入源整合到元嵌入框架中，提升情感分类性能。
• 利用 Transformer 的上下文理解能力以及 GRU 的序列建模能力，增强对混合语言序列的表征学习。
• 在 FIRE 2020 德罗彼达语-混合语言共享任务上评估模型，重点关注泰米尔语和马拉雅拉姆语 YouTube 评论的情感分类。
• 识别在检测负面情感中的反讽和双关语方面的局限性，特别是当此类表达与正面情感相似时。

提出的方法

• 使用带有字节对编码（BPE）的 SentencePiece 分词器处理混合语言文本中的非标准拼写和子词级别分词。
• 在混合语言语料库上训练 fastText 嵌入，采用 300 维向量空间，捕捉子词级别的形态模式。
• 从预训练的 TensorFlow Hub 模型中获取 ELMo 嵌入，采用 1024 维表示，提供深层上下文词表示。
• 在句子级别计算 TF-IDF 特征，以捕捉词频和逆文档频率，为元嵌入提供支持。
• 将 fastText、ELMo 和 TF-IDF 的表示拼接，形成元嵌入，随后输入到具有 1 层注意力和 2048 点前馈网络的 Transformer 编码器中。
• GRU 层按顺序处理编码后的表示，最终隐藏状态作为通过前馈网络进行分类的句子级表示。

实验结果

研究问题

• RQ1 结合 fastText、ELMo 和 TF-IDF 的元嵌入方法在提升德罗彼达语混合语言情感分类性能方面有多有效？
• RQ2 基于 Transformer 的架构结合 GRU 是否能在混合语言情感分析任务中超越基线模型（如微调的 BERT）？
• RQ3 在混合语言负面情感中分类反讽和双关语的主要挑战是什么，它们如何影响模型性能？
• RQ4 为什么模型难以将 'mixed_feelings' 与 'positive' 情感区分开来，哪些数据特征导致了这一问题？
• RQ5 非语言评论（例如 not_Tamil、not_Malayalam）在多大程度上受益于高 TF-IDF 分数，从而提升分类准确率？

主要发现

• 所提出的模型在泰米尔语混合数据集上取得了加权 F1 分数 0.58，在马拉雅拉姆语数据集上为 0.66，优于包括微调 BERT 在内的基线模型。
• 在元嵌入中引入 TF-IDF 特征，使泰米尔语的性能从 0.57 提升至 0.58，马拉雅拉姆语从 0.47 提升至 0.66，表明其在捕捉非语言信号方面的价值。
• 模型在分类正面情感和非语言评论方面表现最佳，这些类别因高频正面词汇和非语言术语的高 TF-IDF 分数而更容易区分。
• 模型在处理负面情感中的反讽和双关语时表现不佳，常因与正面表达在词汇上的相似性而误分类为正面。
• 泰米尔语和马拉雅拉姆语数据集之间的性能差距表明，数据不平衡和语料库特征显著影响模型泛化能力。
• 将 ELMo 和 TF-IDF 整合到元嵌入框架中，增强了表征的丰富性，尤其对低资源混合语言对具有显著提升。