[论文解读] Arabic aspect based sentiment classification using BERT.

Mohammed M. Abdelgwad|arXiv (Cornell University)|Nov 29, 2021

Sentiment Analysis and Opinion Mining参考文献 34被引用 5

一句话总结

本文提出了一种基于 BERT 的神经网络模型，用于阿拉伯语方面感知情感分类，通过利用上下文嵌入和句子对输入来提升情感极性预测性能。该模型在阿拉伯语酒店评论数据集上达到 89.51% 的准确率，在图书评论数据集上达到 73%，在新闻数据上达到 85.73%，性能优于依赖静态词嵌入的先前方法，达到当前最先进水平。

ABSTRACT

Aspect-based sentiment analysis(ABSA) is a textual analysis methodology that defines the polarity of opinions on certain aspects related to specific targets. The majority of research on ABSA is in English, with a small amount of work available in Arabic. Most previous Arabic research has relied on deep learning models that depend primarily on context-independent word embeddings (e.g.word2vec), where each word has a fixed representation independent of its context. This article explores the modeling capabilities of contextual embeddings from pre-trained language models, such as BERT, and making use of sentence pair input on Arabic aspect sentiment polarity classification task. In particular, we develop a simple but effective BERT-based neural baseline to handle this task. Our BERT architecture with a simple linear classification layer surpassed the state-of-the-art works, according to the experimental results on three different Arabic datasets. Achieving an accuracy of 89.51% on the Arabic hotel reviews dataset, 73% on the Human annotated book reviews dataset, and 85.73% on the Arabic news dataset.

研究动机与目标

• 通过利用上下文词表示来解决阿拉伯语 ABSA 模型缺乏有效性的挑战。
• 通过用 BERT 的上下文嵌入替换静态词嵌入，提升阿拉伯语文本的情感分类准确率。
• 为阿拉伯语方面情感极性分类开发一种简单但有效的基于 BERT 的基线模型。
• 在包括评论和新闻在内的多种阿拉伯语文本领域评估模型性能。
• 证明预训练上下文模型在低资源阿拉伯语自然语言处理任务中优于传统深度学习方法。

提出的方法

• 使用句子对输入格式在阿拉伯语 ABSA 数据集上微调预训练的 BERT 模型。
• 构建由目标方面及其对应上下文句子组成的输入对，用于情感分类。
• 在 BERT 的 [CLS] 标记表示上应用简单的线性分类层，以进行情感预测。
• 利用来自 BERT 的上下文嵌入，其中词表示会根据上下文动态调整。
• 在三个不同的阿拉伯语数据集上使用标准交叉熵损失端到端训练模型。
• 采用标准的 BERT 微调流程，包括学习率调度和权重衰减。

实验结果

研究问题

• RQ1 与静态词嵌入相比，基于 BERT 的上下文嵌入是否能提升阿拉伯语方面感知情感分类性能？
• RQ2 采用句子对输入的简单 BERT 微调方法在阿拉伯语 ABSA 任务中效果如何？
• RQ3 所提出的模型是否在多个阿拉伯语文本数据集上优于现有最先进方法？
• RQ4 该模型在不同阿拉伯语文本领域（如酒店评论、图书评论和新闻文章）中的鲁棒性如何？
• RQ5 在低资源阿拉伯语自然语言处理场景中，上下文表示对情感分类准确率有何影响？

主要发现

• 所提出的基于 BERT 的模型在阿拉伯语酒店评论数据集上达到 89.51% 的准确率，超越了先前的最先进方法。
• 在人工标注的图书评论数据集上，模型达到 73% 的准确率，表明其在特定领域阿拉伯语文本上的强大性能。
• 在阿拉伯语新闻数据集上，模型获得 85.73% 的准确率，表明其在多种文本类型中的有效性。
• 结果证实，BERT 的上下文嵌入在阿拉伯语 ABSA 中显著优于与上下文无关的词嵌入。
• 采用句子对输入的简单微调方法被证明非常有效，为未来阿拉伯语 ABSA 研究建立了强有力的基线。
• 该模型在所有三个数据集上的表现证实了基于 BERT 的架构在低资源阿拉伯语自然语言处理应用中的泛化能力。