[论文解读] A Unified Model for Opinion Target Extraction and Target Sentiment Prediction

Xin Li, Lidong Bing+2 more|arXiv (Cornell University)|Nov 13, 2018

Sentiment Analysis and Opinion Mining参考文献 30被引用 85

一句话总结

论文提出了一种端到端的统一 TBSA 模型，使用两层堆叠的 LSTM 结合边界引导、情感一致性和观点增强目标词检测，联合提取目标并预测其情感。通过一个集成标注框架和辅助任务，在基准数据集上实现了最先进的结果。

ABSTRACT

Target-based sentiment analysis involves opinion target extraction and target sentiment classification. However, most of the existing works usually studied one of these two sub-tasks alone, which hinders their practical use. This paper aims to solve the complete task of target-based sentiment analysis in an end-to-end fashion, and presents a novel unified model which applies a unified tagging scheme. Our framework involves two stacked recurrent neural networks: The upper one predicts the unified tags to produce the final output results of the primary target-based sentiment analysis; The lower one performs an auxiliary target boundary prediction aiming at guiding the upper network to improve the performance of the primary task. To explore the inter-task dependency, we propose to explicitly model the constrained transitions from target boundaries to target sentiment polarities. We also propose to maintain the sentiment consistency within an opinion target via a gate mechanism which models the relation between the features for the current word and the previous word. We conduct extensive experiments on three benchmark datasets and our framework achieves consistently superior results.

研究动机与目标

• 促使需要端到端的 Target-Based Sentiment Analysis (TBSA)，能够联合提取目标并预测情感。
• 提出统一的标注方案和一个两阶段的 RNN 架构，以建模任务之间的依赖关系。
• 引入边界引导预测、情感一致性和观点增强目标词检测以提升 TBSA 表现。
• 证明综合模型在 SemEval ABSA 和 Twitter 数据集上优于最先进基线。
• 提供消融研究以量化各组成部分的贡献。

提出的方法

• 两层堆叠的 LSTM（LSTM^S 用于使用统一标签的完整 TBSA 任务；LSTM^T 用于辅助的目标边界预测）。
• Boundary Guidance (BG): 通过转移矩阵 W^tr 编码边界到统一标签的转移，并将边界分数映射到统一标签；与主分数按照一个基于置信度的比例 alpha_t 结合。
• Sentiment Consistency (SC): 基于门控的机制，将当前和先前的单词特征混合，以在观点目标内保持情感一致性。
• Opinion-Enhanced (OE) Target Word Detection: 辅助的词级分类器，利用观点词周围的上下文窗口检测潜在目标词；对边界信息进行细化。
• 训练结合三种损失：L^S、L^T、L^O（分别为 TBSA、边界和目标词检测的词/单词级交叉熵）。
• Unified tagging scheme: Y^S = {B-POS, I-POS, E-POS, S-POS, B-NEG, I-NEG, E-NEG, S-NEG, B-NEU, I-NEU, E-NEU, S-NEU, O}。

实验结果

研究问题

• RQ1 TBSA 是否可以通过一个统一的标注方案在推断时无需依赖单独的目标边界预测而有效地端到端解决？
• RQ2 如何利用边界信息来引导一个统一的 TBSA 标注器，而不使用会传播错误的硬约束？
• RQ3 在多词目标内强制情感一致性是否能提高 TBSA 的预测准确性？
• RQ4 引入辅助的目标词检测任务是否能提升边界质量和整体 TBSA 性能？
• RQ5 关键超参数（边界引导权重 alpha_t、上下文窗口 s）对 TBSA 性能的影响？

主要发现

• 统一的双 LSTM 框架，结合 BG、SC 和 OE 组件，在多个数据集上实现优于强基线和最先进方法的 F1 分数。
• Base 模型 + BG 相对于基线模型提高 TBSA 性能，表明边界引导转移的价值。
• 完整模型（Base + BG + SC + OE）达到最佳结果，显示 SC 与 OE 对边界引导 TBSA 的互补性。
• 与 HAST-TNet 流水线相比，提出的统一模型在 D_L、D_R、D_T 上分别获得绝对 F1 增长 2.6%、2.4% 和 0.40%。
• 消融研究显示 SC 和 OE 对达到最先进结果是必要的，SC 主要帮助情感一致性，OE 提升边界质量。
• 用例分析显示在使用边界引导和辅助信号时，模型能够正确预测多词目标中的情感。