[论文解读] BERT4GCN: Using BERT Intermediate Layers to Augment GCN for Aspect-based Sentiment Classification

Zeguan Xiao, Jiarun Wu+2 more|arXiv (Cornell University)|Oct 1, 2021

Sentiment Analysis and Opinion Mining参考文献 18被引用 7

一句话总结

BERT4GCN 提出了一种新颖的框架，通过将中间 BERT 层的语法序列特征与句法依赖图融合，增强了图卷积网络（GCN）在方面级情感分析中的表现。通过整合 BERT 的分层语言表征、相对位置编码以及基于注意力的依赖图优化，该模型在 SemEval 2014 和 Twitter 基准测试中实现了最先进性能。

ABSTRACT

Graph-based Aspect-based Sentiment Classification (ABSC) approaches have yielded state-of-the-art results, expecially when equipped with contextual word embedding from pre-training language models (PLMs). However, they ignore sequential features of the context and have not yet made the best of PLMs. In this paper, we propose a novel model, BERT4GCN, which integrates the grammatical sequential features from the PLM of BERT, and the syntactic knowledge from dependency graphs. BERT4GCN utilizes outputs from intermediate layers of BERT and positional information between words to augment GCN (Graph Convolutional Network) to better encode the dependency graphs for the downstream classification. Experimental results demonstrate that the proposed BERT4GCN outperforms all state-of-the-art baselines, justifying that augmenting GCN with the grammatical features from intermediate layers of BERT can significantly empower ABSC models.

研究动机与目标

• 解决现有基于 GCN 的 ABSC 模型在有效捕捉序列和句法依赖关系方面的局限性。
• 利用 BERT 中间层中的分层语言知识——特别是句法和语法特征——以提升情感分类性能。
• 通过引入相对位置信息并利用 BERT 的自注意力权重优化依赖图，增强 GCN 表征能力。
• 证明直接从 BERT 中集成预训练语言知识（无需从头开始微调）可显著提升 ABSC 性能。
• 通过消融研究验证各组件模块（如相对位置编码和基于注意力的图剪枝）的有效性。

提出的方法

• 利用 BERT 中间层的隐藏状态来丰富 GCN 中节点的表征，捕捉句法和序列特征。
• 使用 BiLSTM 编码词序和上下文信息，以隐藏状态初始化 GCN 节点表征。
• 在邻域聚合过程中融合 BERT 中间层输出与 GCN 隐藏状态，通过语法上下文增强消息传递。
• 应用 BERT Transformer 编码器中的自注意力权重对依赖图边进行剪枝和重加权，降低解析错误带来的噪声。
• 引入相对位置嵌入模块，使 GCN 具备位置感知能力，提升对方面与观点词之间长距离依赖关系的建模能力。
• 构建混合架构：BERT 提供语言先验，GCN 执行基于图的消息传递，联合优化以实现情感分类。

实验结果

研究问题

• RQ1 能否利用 BERT 中间层（其编码了句法和语法特征）来提升基于 GCN 的方面级情感分类？
• RQ2 集成相对位置编码如何影响 GCN 在 ABSC 中的性能，尤其是在依赖图质量方面？
• RQ3 基于注意力的依赖图优化在多大程度上提升了模型的鲁棒性和准确性，特别是在噪声较大或分布外的数据上？
• RQ4 所提出的 BERT4GCN 框架是否在 SemEval 2014 和 Twitter 等标准 ABSC 基准测试中优于现有最先进模型？
• RQ5 不同窗口大小的相对位置编码在具有不同方面-观点距离分布的数据集上如何影响性能？

主要发现

• BERT4GCN 在三个基准数据集（Laptop、Restaurant 和 Twitter）上均实现了最先进性能，超越了所有先前的 BERT 基和 GCN 基模型。
• 该模型在分布外的 Twitter 数据集上表现出显著的性能提升，表明利用 BERT 中间特征可增强对领域偏移的鲁棒性。
• 消融研究证实，即使不使用相对位置或图优化模块，仅将 BERT 中间表征与 GCN 融合，也能达到最先进结果。
• 仅使用相对位置模块会降低性能，但当与基于注意力的图剪枝结合时，性能显著提升，表明位置偏差与图质量之间存在协同效应。
• 最优的相对位置窗口大小因数据集而异：Twitter 和 Laptop 适合较小窗口，而 Restaurant 更偏好较大窗口，反映出不同领域中方面-观点距离的分布特征。
• 基于注意力的依赖图优化通过移除与情感无关的词之间无关的边（尤其是将邻近方面词与无关词连接的边），有效降低了噪声，从而提升了模型泛化能力。