[论文解读] DOER: Dual Cross-Shared RNN for Aspect Term-Polarity Co-Extraction

Huaishao Luo, Tianrui Li+2 more|arXiv (Cornell University)|Jun 5, 2019

Sentiment Analysis and Opinion Mining参考文献 48被引用 13

一句话总结

本文提出 DOER，一种用于联合方面词-情感极性共同抽取的新型双交叉共享 RNN 框架，将两个任务均视为序列标注问题，并通过交叉共享单元实现共享交互。该方法通过引入双 RNN、辅助任务和残差门控单元，提升了表征学习与跨任务交互，从而在三个基准数据集上超越了最先进基线模型。

ABSTRACT

This paper focuses on two related subtasks of aspect-based sentiment analysis, namely aspect term extraction and aspect sentiment classification, which we call aspect term-polarity co-extraction. The former task is to extract aspects of a product or service from an opinion document, and the latter is to identify the polarity expressed in the document about these extracted aspects. Most existing algorithms address them as two separate tasks and solve them one by one, or only perform one task, which can be complicated for real applications. In this paper, we treat these two tasks as two sequence labeling problems and propose a novel Dual crOss-sharEd RNN framework (DOER) to generate all aspect term-polarity pairs of the input sentence simultaneously. Specifically, DOER involves a dual recurrent neural network to extract the respective representation of each task, and a cross-shared unit to consider the relationship between them. Experimental results demonstrate that the proposed framework outperforms state-of-the-art baselines on three benchmark datasets.

研究动机与目标

• 为解决基于方面的情感分析中流水线方法与坍缩方法的局限性，通过联合建模方面词抽取（ATE）与方面情感分类（ASC）来实现。
• 通过在单次推理过程中同时生成所有方面词-情感极性对，减少错误传播并提升效率。
• 通过辅助任务（方面长度增强与情感增强）提升 ATE 与 ASC 的表征学习能力。
• 利用交叉共享单元（CSU）建模 ATE 与 ASC 之间的交互，学习两个任务之间的注意力依赖关系。
• 通过在 RNN 架构中引入新型残差门控单元（ReGU），提升长方面词建模与情感表征能力。

提出的方法

• DOER 采用双循环神经网络（RNN）分别学习方面词抽取与方面情感分类的独立隐藏表征。
• 交叉共享单元（CSU）通过计算注意力分数 $ S_A $ 和 $ S_P $，动态建模两个任务之间的交互，使每个任务能够关注来自另一任务的相关信息。
• 框架整合了两项辅助任务：方面长度增强以提升长方面词检测能力，情感增强以强化极性表征。
• 引入残差门控单元（ReGU）以稳定训练过程并增强梯度流动，提升对长而复杂方面词的建模能力。
• 模型采用联合序列标注方案，为 ATE（B/I）与 ASC（PO/NG/NT/CF）分别设置独立的标签集，避免坍缩标签带来的歧义。
• 框架通过交叉熵损失进行端到端训练，同时可视化 CSU 中的注意力分数，以验证有效的跨任务交互。

实验结果

研究问题

• RQ1 联合序列标注框架是否能在方面词-情感极性共同抽取任务中超越流水线或坍缩方法？
• RQ2 如 CSU 这类跨任务注意力机制，在 ATE 与 ASC 中是否能有效提升表征学习？
• RQ3 辅助任务（方面长度增强与情感增强）在长或模糊方面词上的性能提升程度如何？
• RQ4 使用残差门控单元（ReGU）是否能带来更优的梯度流动并提升对复杂方面词的建模能力？
• RQ5 CSU 中的注意力分数在预测过程中是否能反映有意义的跨任务依赖关系？

主要发现

• DOER 在三个基准数据集（SemEval-2014、SemEval-2015 和 Twitter-15）上达到最先进性能，F1 分数超越现有方法。
• 消融实验表明，交叉共享单元（CSU）与辅助任务均显著提升性能，其中 CSU 贡献最大。
• 注意力分数可视化显示，模型能有效关注相关上下文词——例如在预测 "OS" 的情感时聚焦于 "great"，证明了有效的跨任务推理能力。
• 残差门控单元（ReGU）提升了训练稳定性与性能，尤其在长方面词上表现更优，消融结果已验证此结论。
• 采用独立标签集的联合建模方法优于坍缩方法（如 B-PO、I-PO），因其避免了组合标签带来的表征混淆。
• 相较于 S-BiLSTM 基线，DOER 显著降低错误率，案例研究显示其在基线失败处仍能正确预测（如正确识别 "dual-core i7 chip" 为 PO）