[论文解读] Out of Context: A New Clue for Context Modeling of Aspect-based Sentiment Analysis

Bowen Xing, Ivor W. Tsang|arXiv (Cornell University)|Jun 21, 2021

Sentiment Analysis and Opinion Mining被引用 5

一句话总结

本文提出了面向方面感知的上下文编码器——AALSTM、AAGCN 和 AABERTs，将给定方面视为上下文之外的‘线索’，在方面感知情感分析（ABSA）的上下文建模过程中动态调节信息流动。通过将方面语义直接整合到编码器本身，这些模型能够保留与方面相关的信息并抑制无关内容，在 ATSA 和 ACSA 基准上均实现了最先进性能，并在跨领域设置中展现出更强的鲁棒性。

ABSTRACT

Aspect-based sentiment analysis (ABSA) aims to predict the sentiment expressed in a review with respect to a given aspect. The core of ABSA is to model the interaction between the context and given aspect to extract the aspect-related information. In prior work, attention mechanisms and dependency graph networks are commonly adopted to capture the relations between the context and given aspect. And the weighted sum of context hidden states is used as the final representation fed to the classifier. However, the information related to the given aspect may be already discarded and adverse information may be retained in the context modeling processes of existing models. This problem cannot be solved by subsequent modules and there are two reasons: first, their operations are conducted on the encoder-generated context hidden states, whose value cannot change after the encoder; second, existing encoders only consider the context while not the given aspect. To address this problem, we argue the given aspect should be considered as a new clue out of context in the context modeling process. As for solutions, we design several aspect-aware context encoders based on different backbones: an aspect-aware LSTM and three aspect-aware BERTs. They are dedicated to generate aspect-aware hidden states which are tailored for ABSA task. In these aspect-aware context encoders, the semantics of the given aspect is used to regulate the information flow. Consequently, the aspect-related information can be retained and aspect-irrelevant information can be excluded in the generated hidden states. We conduct extensive experiments on several benchmark datasets with empirical analysis, demonstrating the efficacies and advantages of our proposed aspect-aware context encoders.

研究动机与目标

• 识别并解决现有ABSA模型中的‘方面无关问题’，即上下文编码器在生成隐藏状态时忽略方面语义。
• 通过将方面信息直接整合到编码器架构中，而非依赖后处理的注意力机制，改进上下文建模。
• 开发LSTM、GCN和BERT的面向方面感知变体，生成专为ABSA设计的方面感知隐藏状态。
• 证明在编码阶段建模方面感知依赖关系可带来更好的性能与鲁棒性，尤其在跨领域场景中。
• 为自然语言处理任务中实体或方面感知至关重要的场景（如关系分类）提供一种新的上下文建模范式。

提出的方法

• 在LSTM中引入面向方面感知的门控机制，利用方面嵌入动态调制输入门、遗忘门和输出门，以调节信息流动。
• 通过引入面向方面感知的卷积门增强GCN，基于方面相关性控制节点间的消息传递，优先保留与方面相关的信息。
• 通过修改段落嵌入和[SEP]标记的使用方式，对BERT进行适配，避免将上下文和方面视为独立句子，从而实现从一开始就的联合建模。
• 设计三种AABERTs变体（AABERT1、AABERT2、AABERT3），采用不同的输入配置，以在预训练阶段优化方面与上下文的交互。
• 将面向方面感知的隐藏状态作为下游分类器的输入，替代忽略方面语义的标准编码器输出。
• 采用统一框架评估LSTM、GCN和BERT架构下的面向方面感知编码器，支持消融实验与对比研究。

实验结果

研究问题

• RQ1 将方面语义直接整合到上下文编码器中，能否缓解ABSA中的‘方面无关问题’？
• RQ2 在编码阶段进行面向方面感知建模，相较于后编码阶段的注意力机制，能否显著提升情感分类性能？
• RQ3 面向方面感知编码器是否比标准编码器在跨领域场景中具有更好的泛化能力？
• RQ4 不同架构选择（LSTM、GCN、BERT）对面向方面感知上下文建模有何影响？
• RQ5 面向方面感知建模是否能带来多方面场景下更稳定的性能表现？

主要发现

• AALSTM、AAGCN 和 AABERTs 在 ATSA 和 ACSA 基准上显著优于其原始基线模型，证明了面向方面感知编码的有效性。
• AABERT1（CLS）在跨领域评估中，餐厅领域宏F1达到75.41，笔记本领域达到73.13，优于 BERT1（CLS），展现出更强的鲁棒性。
• AABERT3 模型在餐厅领域取得75.68的宏F1，在笔记本领域取得72.96，表明使用面向方面感知配置进行微调可增强领域泛化能力。
• 在多方面场景中，AABERTs 表现比 BERT1 更为稳定，AABERT3 在餐厅领域取得75.68的F1，在笔记本领域取得72.96，而 BERT1 的波动更明显。
• AALSTM 与 AAGCN 的结合在基于LSTM的模型中实现了新的最先进结果，证实了面向方面感知组件之间的协同效应。
• AABERTs 展现出上下文与方面之间更平滑的语义空间，降低了领域特异性偏差，提升了跨领域可迁移性。