[论文解读] Does BERT Understand Sentiment? Leveraging Comparisons Between Contextual and Non-Contextual Embeddings to Improve Aspect-Based Sentiment Models

Natesh Reddy, Pranaydeep Singh+1 more|arXiv (Cornell University)|Nov 23, 2020

Sentiment Analysis and Opinion Mining被引用 6

一句话总结

本文提出了一种轻量级方法 BERT-IL，通过比较 BERT 的上下文嵌入与非上下文的 GloVe 嵌入来推断情感极性，从而提升基于方面的情感分析性能。通过训练一个简单的比较网络并仅微调 BERT 的部分层，该模型在 SemEval 2014 和 SemEval 2016 数据集上实现了最先进性能，同时与先前方法相比，模型大小减少了高达 65%，训练时间减少了高达 75%。

ABSTRACT

When performing Polarity Detection for different words in a sentence, we need to look at the words around to understand the sentiment. Massively pretrained language models like BERT can encode not only just the words in a document but also the context around the words along with them. This begs the questions, "Does a pretrain language model also automatically encode sentiment information about each word?" and "Can it be used to infer polarity towards different aspects?". In this work we try to answer this question by showing that training a comparison of a contextual embedding from BERT and a generic word embedding can be used to infer sentiment. We also show that if we finetune a subset of weights the model built on comparison of BERT and generic word embedding, it can get state of the art results for Polarity Detection in Aspect Based Sentiment Classification datasets.

研究动机与目标

• 探究 BERT 是否在未进行完整微调的情况下，本身已对方面项编码了情感信息。
• 开发一种轻量级模型，利用 BERT 与 GloVe 嵌入之间的比较来实现方面极性检测。
• 在标准 ABSA 基准上实现最先进性能，同时最小化计算成本和训练时间。
• 通过避免完整 BERT 微调，提升模型效率并减少碳排放。
• 通过基于比较的情感推理机制，实现更好的领域泛化能力。

提出的方法

• 该模型使用一个比较网络，以方面项的 BERT 上下文嵌入和 GloVe 非上下文嵌入作为输入。
• 一个可学习的比较机制计算两种嵌入类型之间的相似性或差异性表示，以推断情感极性。
• 比较网络在冻结的 BERT 和 GloVe 嵌入基础上，以少量可训练参数进行端到端训练。
• 为提升性能，BERT-IL Finetuned 变体对 BERT 的最后五层进行微调。
• 使用交互层（如 AutoInt）通过组合来自多个 BERT 层的表示来增强上下文解析能力。
• 该方法在 SemEval 2014、SemEval 2016 和 SentiHood 数据集上，使用标准 ABSA 指标进行评估。

实验结果

研究问题

• RQ1 BERT 是否在未微调的情况下，本身已对方面项编码了情感信息？
• RQ2 仅通过上下文（BERT）与非上下文（GloVe）嵌入之间的简单比较，能否有效推断方面级情感？
• RQ3 基于此比较的轻量级模型能否以极低计算成本实现最先进性能？
• RQ4 与完整 BERT 微调及其他最先进方法相比，该基于比较的模型在准确率、模型大小和训练时间方面的表现如何？
• RQ5 当完整微调不可行时，该方法在数据有限的跨领域场景下是否具有良好的泛化能力？

主要发现

• BERT-IL Finetuned 在 SemEval 2014 和 SemEval 2016 上实现了最先进性能，在 SemEval 2016 的子任务 1 上比 HAABSA 提高了 0.7%。
• 在 SentiHood 数据集上，BERT-IL Finetuned 达到了 90.8% 的准确率，优于 BERT 基线，并与更复杂的模型（如 BERT-pair-QAM）相当。
• BERT-IL 模型在 SemEval 2014 上实现了 84.6% 的准确率，模型大小仅为 1119 MB，前向/反向传播耗时 0.08 秒，相比先前方法模型大小减少最多达 3 倍，速度提升最多达 4 倍。
• 与最先进模型（如 BAT 和 BERT-PT）相比，BERT-IL Finetuned 将训练时间减少了最多 75%，模型大小减少了最多 65%。
• 即使未进行完整 BERT 微调，基于比较的方法也表现出色，表明情感信息已隐式编码在 BERT 的上下文表示中。
• 该方法在多个数据集上表现出鲁棒性，包括因数据增强而训练集规模大 3 倍的 SentiHood，表明其具备良好的可扩展性和泛化潜力。