[论文解读] Combining Context-Free and Contextualized Representations for Arabic Sarcasm Detection and Sentiment Identification

Amey Hengle, Atharva Kshirsagar+2 more|arXiv (Cornell University)|Mar 9, 2021

Sentiment Analysis and Opinion Mining参考文献 28被引用 9

一句话总结

本文提出了一种混合深度学习模型，将 AraBERT 的上下文表示与 Mazajak 的静态词嵌入相结合，以提升阿拉伯语讽刺和情感检测性能。通过融合这些互补的表示方法，该模型在讽刺检测任务中取得了 0.62 的 F1-讽刺得分，在情感检测任务中取得了 0.715 的 F-PN 得分，优于基线模型（包括仅使用 AraBERT 的模型），表明静态词向量能够提升对罕见及非正式社交媒体语言的处理性能。

ABSTRACT

Since their inception, transformer-based language models have led to impressive performance gains across multiple natural language processing tasks. For Arabic, the current state-of-the-art results on most datasets are achieved by the AraBERT language model. Notwithstanding these recent advancements, sarcasm and sentiment detection persist to be challenging tasks in Arabic, given the language's rich morphology, linguistic disparity and dialectal variations. This paper proffers team SPPU-AASM's submission for the WANLP ArSarcasm shared-task 2021, which centers around the sarcasm and sentiment polarity detection of Arabic tweets. The study proposes a hybrid model, combining sentence representations from AraBERT with static word vectors trained on Arabic social media corpora. The proposed system achieves a F1-sarcastic score of 0.62 and a F-PN score of 0.715 for the sarcasm and sentiment detection tasks, respectively. Simulation results show that the proposed system outperforms multiple existing approaches for both the tasks, suggesting that the amalgamation of context-free and context-dependent text representations can help capture complementary facets of word meaning in Arabic. The system ranked second and tenth in the respective sub-tasks of sarcasm detection and sentiment identification.

研究动机与目标

• 为解决阿拉伯语社交媒体文本中讽刺与情感检测的挑战，这些文本通常具有形态复杂性、方言差异和非正式语言特征。
• 通过结合上下文无关词嵌入与上下文感知的句子表示，提升讽刺与情感检测的性能。
• 探究预训练的静态词向量是否能补充 AraBERT 的上下文表示，以更好地处理阿拉伯语推文中罕见及俚语词汇。
• 开发一个在类别不平衡数据集上表现稳健的系统，尤其针对讽刺及正/负向情感等少数类。
• 为 AraBERT 在大规模社交媒体语料上的微调提供一种实用的替代方案，后者计算成本高且通常不可行。

提出的方法

• 该模型将 AraBERT 的句子级表示与 Mazajak 的预训练静态词嵌入融合，后者在大规模阿拉伯语推文语料上进行训练。
• 混合表示输入至 CNN-BiLSTM 架构，并通过联合分类层实现讽刺与情感分类的联合学习。
• 使用 Adam 优化器进行训练，基础初始学习率为 5e-5，应用权重衰减与早停策略以防止过拟合。
• 系统采用稀疏分类交叉熵损失，并应用梯度裁剪（clipnorm = 1.0）以稳定训练过程。
• 最终分类层结合来自讽刺与情感头的输出，实现端到端的联合学习。
• 超参数在验证集上进行调优，结果通过五次随机运行的平均值以确保稳定性。

实验结果

研究问题

• RQ1 将上下文无关词嵌入与上下文感知的句子表示相结合，是否能超越 AraBERT 等最先进模型，提升阿拉伯语讽刺检测性能？
• RQ2 使用在社交媒体数据上训练的 Mazajak 嵌入，是否能提升对讽刺检测中罕见与非正式阿拉伯语词汇的处理性能？
• RQ3 该混合模型在处理类别不平衡问题（尤其是讽刺或正/负向情感等少数类）方面，与仅使用 AraBERT 的模型相比表现如何？
• RQ4 静态词向量在多大程度上能补充 AraBERT 的上下文理解能力，以检测阿拉伯语推文中的修辞语言？
• RQ5 结合表示方法带来的性能提升是否在多次运行中均具有统计显著性且稳定？

主要发现

• 所提模型在讽刺检测任务中取得 0.62 的 F1-讽刺得分，较基线模型 AraBERT 的 0.52 提升了 10 个百分点。
• 在情感识别方面，模型取得 0.715 的 F-PN 得分，优于基线模型 AraBERT 的 0.67 得分。
• 该模型在少数类上表现出更高的召回率，表明其在讽刺与情感检测任务中对类别不平衡具有更好的泛化能力与鲁棒性。
• 该混合模型在所有评估指标上均优于先前的最先进系统，包括仅使用 AraBERT 或 Mazajak 嵌入的模型。
• 性能提升归因于 AraBERT（上下文理解能力）与 Mazajak（处理罕见与非正式词汇能力）在捕捉细微语言特征方面的互补优势。
• 在 2021 年 WANLP ArSarcasm 共享任务中，该系统在讽刺检测中排名第二，在情感识别中排名第十，证实了其具有竞争力的性能。