[论文解读] Earlier Attention? Aspect-Aware LSTM for Aspect-Based Sentiment Analysis

Bowen Xing, Lejian Liao+5 more|arXiv (Cornell University)|May 19, 2019

Sentiment Analysis and Opinion Mining参考文献 22被引用 7

一句话总结

本文提出了一种新型LSTM变体——方面感知LSTM（AA-LSTM），该模型在上下文建模过程中直接将方面信息整合到LSTM单元中，而非仅依赖后处理的注意力机制。通过此方式，AA-LSTM能够动态生成针对方面的上下文表征，显著提升了SemEval-2014数据集上的情感分类性能，相较于标准LSTM和当前最先进模型，F1-macro指标最高提升7个百分点。

ABSTRACT

Aspect-based sentiment analysis (ABSA) aims to predict fine-grained sentiments of comments with respect to given aspect terms or categories. In previous ABSA methods, the importance of aspect has been realized and verified. Most existing LSTM-based models take aspect into account via the attention mechanism, where the attention weights are calculated after the context is modeled in the form of contextual vectors. However, aspect-related information may be already discarded and aspect-irrelevant information may be retained in classic LSTM cells in the context modeling process, which can be improved to generate more effective context representations. This paper proposes a novel variant of LSTM, termed as aspect-aware LSTM (AA-LSTM), which incorporates aspect information into LSTM cells in the context modeling stage before the attention mechanism. Therefore, our AA-LSTM can dynamically produce aspect-aware contextual representations. We experiment with several representative LSTM-based models by replacing the classic LSTM cells with the AA-LSTM cells. Experimental results on SemEval-2014 Datasets demonstrate the effectiveness of AA-LSTM.

研究动机与目标

• 为解决标准LSTM在ABSA中面临的问题：即在上下文建模过程中可能保留与方面无关的信息并丢弃与方面相关的信息。
• 通过使LSTM单元在序列编码过程中本身感知目标方面，提升上下文表征的质量。
• 开发一种即插即用的LSTM变体，可在不修改其架构的前提下增强现有的基于注意力机制的ABSA模型。
• 证明早期整合方面信息可生成更有效且针对方面的隐藏状态表征。

提出的方法

• 提出一种改进的LSTM单元，在前向传播过程中将方面嵌入向量引入输入门、遗忘门和输出门。
• 通过将方面信息融合到候选细胞状态和隐藏状态的计算中，修改LSTM单元的更新规则。
• 利用方面向量作为动态控制信号，调节信息流动，优先保留与方面相关特征并抑制无关特征。
• 通过仅替换LSTM单元而非注意力模块或分类头，保持与标准注意力机制的兼容性。
• 在多个基线模型（如ATAE-LSTM、IAN、RAM）中用AA-LSTM单元替代标准LSTM单元，以进行消融实验和对比分析。
• 采用门控机制，使方面嵌入向量调节细胞状态的更新，实现对方面特定上下文的选择性保留。

实验结果

研究问题

• RQ1 在LSTM计算过程中更早地整合方面信息，是否能提升针对方面的情感分析的上下文表征？
• RQ2 与标准LSTM相比，方面感知的上下文建模是否能减少隐藏状态中与方面无关信息的影响？
• RQ3 当AA-LSTM替换现有最先进ABSA模型中的标准LSTM时，其性能表现如何？
• RQ4 即使与RAM或IAN等先进注意力机制结合，AA-LSTM是否仍能提升性能？
• RQ5 AA-LSTM的性能提升是源于更优的上下文建模，还是仅仅因为嵌入中包含了方面信息？

主要发现

• 在餐厅数据集上，AA-LSTM在ATSA和ACSA任务中，相较于标准LSTM，F1-macro得分最高提升7个百分点。
• 该性能增益在多个基线模型（包括ATAE-LSTM、IAN和RAM）中保持一致，证明了AA-LSTM的通用性。
• 尽管ATAE-LSTM也在词表示中使用了方面嵌入，但AA-LSTM在ACSA任务中的F1-macro表现仍更优，证明了AA-LSTM在上下文建模方面的优越性。
• 即使与RAM中的复杂注意力机制结合，AA-LSTM仍保持高性能，表明其具备强兼容性并能进一步放大优势。
• 性能提升完全归因于更优的上下文表征，因为唯一的变化是将标准LSTM替换为AA-LSTM，模型架构保持不变。
• 结果证实，将方面信息早期整合到LSTM单元中，可生成比仅依赖后处理注意力机制更有效且更具方面特异性的隐藏状态。