[论文解读] Does syntax matter? A strong baseline for Aspect-based Sentiment Analysis with RoBERTa

Junqi Dai, Hang Yan+3 more|arXiv (Cornell University)|Apr 11, 2021

Sentiment Analysis and Opinion Mining参考文献 16被引用 12

一句话总结

该论文表明，经过方面级情感分析（ABSA）微调的 RoBERTa 模型隐式地学习了一种以情感词为中心的句法结构，使得简单的 RoBERTa+MLP 模型在四种语言的六个数据集上实现了最先进或接近最先进性能，超越了依赖外部依存树的更复杂模型。研究显示，微调后 RoBERTa 生成的树结构优于解析器提供的树以及现成预训练模型（PTM）生成的树，表明预训练模型可以在无需显式句法特征工程的情况下内化特定任务的句法推理。

ABSTRACT

Aspect-based Sentiment Analysis (ABSA), aiming at predicting the polarities for aspects, is a fine-grained task in the field of sentiment analysis. Previous work showed syntactic information, e.g. dependency trees, can effectively improve the ABSA performance. Recently, pre-trained models (PTMs) also have shown their effectiveness on ABSA. Therefore, the question naturally arises whether PTMs contain sufficient syntactic information for ABSA so that we can obtain a good ABSA model only based on PTMs. In this paper, we firstly compare the induced trees from PTMs and the dependency parsing trees on several popular models for the ABSA task, showing that the induced tree from fine-tuned RoBERTa (FT-RoBERTa) outperforms the parser-provided tree. The further analysis experiments reveal that the FT-RoBERTa Induced Tree is more sentiment-word-oriented and could benefit the ABSA task. The experiments also show that the pure RoBERTa-based model can outperform or approximate to the previous SOTA performances on six datasets across four languages since it implicitly incorporates the task-oriented syntactic information.

研究动机与目标

• 探究像 RoBERTa 这类预训练模型是否隐式学习了对方面级情感分析有用的句法结构。
• 比较标准解析器生成的依存树与预训练模型（PTM）和微调后预训练模型（FT-PTM）生成的树的性能差异。
• 评估将生成的句法树引入模型是否能提升基于纯 RoBERTa 模型的 ABSA 性能。
• 分析微调后 RoBERTa 生成的树的结构特性，并评估其与情感词的对齐程度。

提出的方法

• 通过在隐藏表示上应用扰动掩码方法，从预训练的 RoBERTa 中生成类似依存树的结构。
• 在六个 ABSA 数据集上微调 RoBERTa，以生成任务适配的生成树（FT-RoBERTa 树）。
• 比较使用解析器提供的树、现成 PTM 生成的树以及 FT-PTM 生成的树的树结构 ABSA 模型的性能。
• 在四种语言的六个数据集上，使用 RoBERTa 搭载简单 MLP 头的模型进行评估，不引入外部句法特征。
• 通过两个指标分析树结构：相邻连接比例和方面-情感距离（AsD）。
• 进行消融实验，评估在 RoBERTa 中添加生成树是否相比仅使用 RoBERTa 的基线模型能提升性能。

实验结果

研究问题

• RQ1 从微调后的 RoBERTa 生成的树是否在 ABSA 任务中优于标准解析器生成的依存树？
• RQ2 RoBERTa 在 ABSA 上微调过程中隐式学习到的句法结构，是否比手工设计或解析得到的句法特征更具优势？
• RQ3 微调 RoBERTa 在多大程度上改变了其生成的树结构，使其更趋向于以情感词为中心？
• RQ4 将 RoBERTa 生成的树引入模型是否能提升纯 RoBERTa+MLP 基线模型在 ABSA 上的性能？
• RQ5 为何以往基于 RoBERTa 的 ABSA 模型表现不佳？这是否可归因于优化或架构选择？

主要发现

• 仅使用简单 MLP 头的 RoBERTa 模型在四种语言的六个 ABSA 数据集上均实现了最先进或接近最先进性能，优于依赖外部句法结构的更复杂模型。
• 从微调后 RoBERTa（FT-RoBERTa）生成的树在下游 ABSA 任务中优于解析器提供的依存树以及现成 PTM 生成的树。
• FT-RoBERTa 生成的树表现出显著更低的方面-情感距离（AsD），表明方面与情感词之间的连接更短、更直接。
• 微调后，FT-RoBERTa 生成树中相邻连接的比例下降，表明其更倾向于建模与情感分类相关的长距离依赖关系。
• 将生成的树结构引入 RoBERTa 模型并未提升性能，甚至在某些情况下导致性能下降，表明隐式句法结构与显式句法结构之间可能存在冲突。
• 分析结果证实，RoBERTa 在 ABSA 上微调时，其生成的树结构会隐式地调整为更偏向情感词导向，从而在无需显式句法特征工程的情况下提升模型性能。