[论文解读] Aspect Term Extraction with History Attention and Selective Transformation

Xin Li, Lidong Bing+3 more|arXiv (Cornell University)|May 2, 2018

Sentiment Analysis and Opinion Mining参考文献 19被引用 32

一句话总结

本文提出了一种新颖的方面词项抽取（ATE）框架，通过截断历史注意力（THA）和选择性转换网络（STN），利用每个词符的评论摘要及其方面检测历史。通过整合上下文感知的评论摘要与序列预测线索，该模型在四个基准数据集上优于最先进方法，显著提升了在复杂方面结构和嘈杂评论中的准确率与鲁棒性。

ABSTRACT

Aspect Term Extraction (ATE), a key sub-task in Aspect-Based Sentiment Analysis, aims to extract explicit aspect expressions from online user reviews. We present a new framework for tackling ATE. It can exploit two useful clues, namely opinion summary and aspect detection history. Opinion summary is distilled from the whole input sentence, conditioned on each current token for aspect prediction, and thus the tailor-made summary can help aspect prediction on this token. Another clue is the information of aspect detection history, and it is distilled from the previous aspect predictions so as to leverage the coordinate structure and tagging schema constraints to upgrade the aspect prediction. Experimental results over four benchmark datasets clearly demonstrate that our framework can outperform all state-of-the-art methods.

研究动机与目标

• 解决现有 ATE 方法未能利用意见词共现模式的局限性，从而在非意见性词语上产生误报。
• 通过将全局意见信息提炼为基于每个目标词符的上下文感知意见摘要，改进方面词项抽取。
• 通过截断历史注意力建模方面检测历史，利用序列依赖关系改进预测。
• 通过应用选择性转换网络减少意见摘要中的噪声，从而增强对相关意见词的关注。

提出的方法

• 该模型通过关注句子中所有意见表征，生成基于词符的上下文感知意见摘要，其全局意见表征源自辅助意见检测任务。
• 引入选择性转换网络（STN），通过结合当前方面特征来优化对意见表征的注意力，从而过滤掉无关或嘈杂的意见词。
• 截断历史注意力（THA）捕获先前方面预测的依赖关系，强制执行标注模式约束（如 B-I-O），提升预测一致性。
• 通过多任务学习设置联合优化方面词项抽取与意见检测，共享编码器并使用任务特定头。
• 将意见摘要作为额外特征输入到方面预测头中，增强上下文敏感性。
• 模型通过交叉熵损失在方面标记任务上进行端到端训练，注意力机制动态地基于当前预测目标进行条件化。

实验结果

研究问题

• RQ1 基于每个词符的上下文感知意见摘要是否能通过捕捉相关意见线索来提升方面词项抽取的准确率？
• RQ2 通过截断历史注意力利用方面检测历史是否能减少错误传播并提升标注一致性？
• RQ3 选择性转换网络是否能有效过滤嘈杂的意见表征并增强对相关意见词的关注？
• RQ4 与联合抽取模型如 RNCRF 和 CMLA 相比，所提出的框架在复杂句法结构上的 ATE 性能与鲁棒性如何？

主要发现

• 所提模型在四个基准数据集上达到最先进性能，优于现有方法，包括 RNCRF 和 CMLA。
• 消融研究显示，若移除选择性转换网络（STN）或截断历史注意力（THA），F1 分数将显著下降，证实了二者有效性。
• 该模型在长方面词项与并列结构上表现更优，而基线模型常因缺乏序列上下文而失败。
• 注意力可视化结果表明，完整模型聚焦于相关意见词（如 'unwelcoming', 'filthy'），同时抑制无关或非意见性词语。
• 通过利用意见词信号，模型能正确识别罕见或拼写错误的方面词项（如 'survice'），而基线模型则会遗漏。
• 结果表明，联合抽取方面与意见可能并非必要，分别建模意见上下文与预测历史可获得更优的 ATE 性能。