[论文解读] Arabic aspect based sentiment analysis using bidirectional GRU based models

Mohammed M. Abdelgwad, Taysir Hassan A. Soliman+2 more|arXiv (Cornell University)|Jan 22, 2021

Sentiment Analysis and Opinion Mining参考文献 79被引用 103

一句话总结

本文提出两种基于双向GRU的深度学习模型，用于阿拉伯语方面感知情感分析：BGRU-CNN-CRF用于意见目标抽取（T2），IAN-BGRU用于方面情感极性分类（T3）。IAN-BGRU模型在SemEval-2016阿拉伯语酒店评论数据集上实现了最先进的性能，T3任务准确率达到83.98%，T2任务的F1得分相比基线方法提升了39.7%。

ABSTRACT

Aspect-based Sentiment analysis (ABSA) accomplishes a fine-grained analysis that defines the aspects of a given document or sentence and the sentiments conveyed regarding each aspect. This level of analysis is the most detailed version that is capable of exploring the nuanced viewpoints of the reviews. The bulk of study in ABSA focuses on English with very little work available in Arabic. Most previous work in Arabic has been based on regular methods of machine learning that mainly depends on a group of rare resources and tools for analyzing and processing Arabic content such as lexicons, but the lack of those resources presents another challenge. In order to address these challenges, Deep Learning (DL)-based methods are proposed using two models based on Gated Recurrent Units (GRU) neural networks for ABSA. The first is a DL model that takes advantage of word and character representations by combining bidirectional GRU, Convolutional Neural Network (CNN), and Conditional Random Field (CRF) making up the (BGRU-CNN-CRF) model to extract the main opinionated aspects (OTE). The second is an interactive attention network based on bidirectional GRU (IAN-BGRU) to identify sentiment polarity toward extracted aspects. We evaluated our models using the benchmarked Arabic hotel reviews dataset. The results indicate that the proposed methods are better than baseline research on both tasks having 39.7% enhancement in F1-score for opinion target extraction (T2) and 7.58% in accuracy for aspect-based sentiment polarity classification (T3). Achieving F1 score of 70.67% for T2, and accuracy of 83.98% for T3.

研究动机与目标

• 通过开发专为阿拉伯语设计的深度学习模型，弥补先进阿拉伯语ABS A方法的不足。
• 提升阿拉伯语酒店评论中的意见目标抽取（T2）与方面情感极性分类（T3）性能。
• 克服依赖稀缺阿拉伯语NLP资源的传统机器学习方法的局限性。
• 利用双向GRU与注意力机制增强上下文建模，且无需外部词典。
• 在SemEval-2016阿拉伯语ABS A基准数据集上实现最先进性能。

提出的方法

• 采用BGRU-CNN-CRF模型，结合双向GRU、卷积层与CRF，用于意见目标抽取（T2）的序列标注。
• 使用词级与字符级嵌入作为输入，以捕捉阿拉伯语中的形态与语义特征。
• 应用交互注意力网络（IAN）结合双向GRU，实现对方面词及其上下文的交互式建模。
• 引入注意力机制，动态聚焦于情感分类中的相关词汇，提升表征学习效果。
• 使用反向传播与交叉熵损失端到端训练模型，同时优化T2与T3任务。
• 在SemEval-2016阿拉伯语酒店评论数据集上评估模型，采用F1得分与准确率作为指标。

实验结果

研究问题

• RQ1 基于双向GRU的模型是否能在阿拉伯语ABS A任务中超越传统机器学习基线？
• RQ2 IAN-BGRU架构在捕捉阿拉伯语评论中方面-情感依赖关系方面的有效性如何？
• RQ3 词级与字符级嵌入在低资源阿拉伯语NLP中对意见目标抽取的改善程度如何？
• RQ4 注意力机制的使用是否能降低阿拉伯语情感分析对外部词典的依赖？
• RQ5 BGRU-CNN-CRF模型是否能在不依赖人工特征的情况下实现稳健的意见目标抽取？

主要发现

• IAN-BGRU模型在方面情感极性分类（T3）任务中达到83.98%的准确率，优于最佳基线7.58个百分点。
• BGRU-CNN-CRF模型在意见目标抽取（T2）任务中达到70.67%的F1得分，相比基线提升了39.7%。
• IAN-BGRU模型在所有变体中表现最优，包括IAN-LSTM与IAN-GRU，得益于更优的双向上下文建模能力。
• 使用双向GRU相比单向模型提升了性能，能够同时捕捉正向与反向的长距离依赖关系。
• 模型成功在单一句子中对矛盾情感进行分类——例如对位置为正面，对房间为负面——且无需外部词典。
• 消融实验表明，注意力机制与双向建模显著提升性能，而复杂模型如MEMNET并未带来性能增益。