[论文解读] Arabic aspect based sentiment analysis using BERT.

Mohammed M. Abdelgwad|arXiv (Cornell University)|Jul 28, 2021

Sentiment Analysis and Opinion Mining参考文献 31被引用 5

一句话总结

本文提出了一种基于 BERT 的神经网络模型，用于阿拉伯语方面感知情感分析（ABSA），通过利用上下文嵌入和句子对输入来提升情感分类性能。该模型在基准阿拉伯语酒店评论数据集上取得了最先进（SOTA）的性能，优于以往依赖静态词嵌入的方法。

ABSTRACT

Aspect-based sentiment analysis(ABSA) is a textual analysis methodology that defines the polarity of opinions on certain aspects related to specific targets. The majority of research on ABSA is in English, with a small amount of work available in Arabic. Most previous Arabic research has relied on deep learning models that depend primarily on context-independent word embeddings (e.g.word2vec), where each word has a fixed representation independent of its context. This article explores the modeling capabilities of contextual embeddings from pre-trained language models, such as BERT, and making use of sentence pair input on Arabic ABSA tasks. In particular, we are building a simple but effective BERT-based neural baseline to handle this task. Our BERT architecture with a simple linear classification layer surpassed the state-of-the-art works, according to the experimental results on the benchmarked Arabic hotel reviews dataset.

研究动机与目标

• 通过利用预训练语言模型中的上下文嵌入，解决阿拉伯语方面感知情感分析研究有限的问题。
• 通过用 BERT 生成的上下文表示替换上下文无关的词嵌入，提升阿拉伯语情感分类的准确性。
• 使用句子对输入，开发一种简单但有效的基于 BERT 的阿拉伯语 ABSA 基线模型。
• 评估上下文嵌入在捕捉阿拉伯语文本中针对特定方面的情感极性细微差别的有效性。
• 在基准阿拉伯语酒店评论数据集上建立新的最先进（SOTA）结果。

提出的方法

• 在阿拉伯语 ABSA 数据集上微调预训练的 BERT 模型，使用句子对输入，其中每个输入由一个评论句子和一个方面词组成。
• 在 BERT 的 [CLS] 标记表示上添加一个简单的线性分类层，用于预测情感极性。
• 采用 BERT 生成的上下文嵌入，其基于上下文动态生成词表示，与 word2vec 等静态嵌入不同。
• 使用标准交叉熵损失进行端到端训练，用于多类别情感分类。
• 利用迁移学习，将多语言 BERT 检查点适配到阿拉伯语 ABSA 任务。
• 使用特殊标记 [CLS] 和 [SEP] 处理输入序列，以结构化方式组织 BERT 的句子对输入。

实验结果

研究问题

• RQ1 与静态词嵌入相比，BERT 生成的上下文嵌入是否能提升阿拉伯语方面感知情感分析的性能？
• RQ2 使用线性分类器的简单 BERT 模型在阿拉伯语 ABSA 任务中有多高效？
• RQ3 使用句子对输入（评论句子 + 方面词）是否能增强模型检测特定方面情感的能力？
• RQ4 微调后的 BERT 模型是否能在基准阿拉伯语 ABSA 数据集上实现最先进（SOTA）结果？
• RQ5 所提出的方法与以往的 SOTA 方法在阿拉伯语 ABSA 中相比如何？

主要发现

• 所提出的基于 BERT 的模型搭配线性分类层，在基准阿拉伯语酒店评论数据集上超越了最先进（SOTA）结果。
• 与使用 word2vec 等静态词嵌入的模型相比，使用 BERT 生成的上下文嵌入显著提升了情感分类性能。
• 即使架构简单，该模型在特定方面情感检测方面也表现出强大的泛化能力。
• 句子对输入格式有效引导模型聚焦于阿拉伯语文本中特定方面的感情倾向。
• 结果证实，使用 BERT 等预训练语言模型进行迁移学习，对阿拉伯语 ABSA 等低资源 NLP 任务极为有效。
• 该模型在无需复杂架构修改的情况下实现了卓越性能，凸显了上下文表示在阿拉伯语 NLP 中的强大力量。