[论文解读] Deep Multi-Task Model for Sarcasm Detection and Sentiment Analysis in Arabic Language

Abdelkader El Mahdaouy, Abdellah El Mekki+4 more|arXiv (Cornell University)|Jun 23, 2021

Sentiment Analysis and Opinion Mining参考文献 17被引用 6

一句话总结

本文提出了一种深度多任务学习模型，通过使用基于 MARBERT 的模型（该模型在 10 亿条阿拉伯语推文上进行微调）并引入多任务注意力交互模块，联合执行阿拉伯语中的讽刺检测与情感分析。该模型实现了最先进性能，优于单任务基线模型，在 ArSarcasm 共享任务中，情感分析子任务排名第一，讽刺检测子任务排名第四。

ABSTRACT

The prominence of figurative language devices, such as sarcasm and irony, poses serious challenges for Arabic Sentiment Analysis (SA). While previous research works tackle SA and sarcasm detection separately, this paper introduces an end-to-end deep Multi-Task Learning (MTL) model, allowing knowledge interaction between the two tasks. Our MTL model's architecture consists of a Bidirectional Encoder Representation from Transformers (BERT) model, a multi-task attention interaction module, and two task classifiers. The overall obtained results show that our proposed model outperforms its single-task counterparts on both SA and sarcasm detection sub-tasks.

研究动机与目标

• 为解决隐喻语言（尤其是讽刺与反语）带来的语义极性反转问题，该问题会干扰阿拉伯语情感分析。
• 通过在讽刺检测与情感分析之间实现知识共享，克服先前单任务方法的局限性。
• 开发一种端到端的深度多任务学习模型，通过共享表征与任务特定注意力机制，提升两个子任务的性能。
• 在 ArSarcasm-v2 数据集上评估模型，该数据集包含现代标准阿拉伯语（MSA）和方言阿拉伯语中的讽刺与情感标签。
• 通过可学习共享矩阵与 Sigmoid 激活函数，证明任务交互机制在提升讽刺与情感分类性能方面的有效性。

提出的方法

• 模型使用 MARBERT，即基于 BERT 的 Transformer 模型，在 10 亿条阿拉伯语推文上预训练，以获取上下文相关的词嵌入。
• 多任务注意力交互模块包含两个任务特定的注意力层，用于提取讽刺与情感任务的判别性特征。
• 该模块采用可学习共享矩阵与 Sigmoid 激活函数，实现两个任务之间的知识共享。
• 对注意力后的表示分别应用两个独立分类器，用于讽刺检测（二分类）与情感分析（三分类：正面、负面、中性）。
• 使用 Adam 优化器对模型进行端到端微调，初始学习率固定为 5×10⁻⁶，批量大小为 64，训练 5 个周期。
• 训练数据按 80% 用于训练，20% 用于开发，评估指标包括宏平均 F1、精确率、召回率与准确率。

实验结果

研究问题

• RQ1 在阿拉伯语文本中，联合学习讽刺检测与情感分析是否能提升两个任务的性能？
• RQ2 具有可学习共享矩阵的多任务注意力交互模块，在讽刺与情感任务之间实现知识迁移方面有多高效？
• RQ3 引入任务特定注意力层是否能增强讽刺与情感分类的特征表示？
• RQ4 与单任务基线相比，所提出的多任务模型在讽刺与情感类别上的 F1 分数表现如何？
• RQ5 该模型在不同阿拉伯语方言与情感极性上的性能差异有多大？

主要发现

• MTL_ATTINTER 模型在测试集上的讽刺检测 F1 得分为 0.7183，为最高，优于单任务及其他多任务基线模型。
• 在情感分析方面，MTL_ATTINTER 模型在测试集上的 F1 得分为 0.7107，在共享任务所有提交系统中排名第一。
• 在官方 ArSarcasm 共享任务评估中，该模型在情感分析子任务中位列第一，在讽刺检测子任务中位列第四。
• 混淆矩阵显示，模型有效利用了共享信号，特别是由于大多数讽刺推文为负面，从而提升了对讽刺与负面情感类别的检测能力。
• 任务特定注意力与交互机制的整合，使在开发集与测试集上 F1、F1_Sarc 与 F1_PN 指标均实现一致提升。
• 该模型在类别不平衡数据上表现出鲁棒性，尽管讽刺类别样本较少，仍保持了优异性能。