[论文解读] Improving Aspect Term Extraction with Bidirectional Dependency Tree Representation

Huaishao Luo, Tianrui Li+3 more|arXiv (Cornell University)|May 21, 2018

Sentiment Analysis and Opinion Mining参考文献 63被引用 11

一句话总结

该论文提出BiDTreeCRF，一种端到端的深度学习框架，通过建模双向依赖树表示（捕捉自底向上和自顶向下的句法传播）并结合BiLSTM与CRF，实现联合的序列与树状结构特征学习。该模型在四个SemEval基准数据集上实现了最先进性能，且无需人工设计的语言学特征。

ABSTRACT

Aspect term extraction is one of the important subtasks in aspect-based sentiment analysis. Previous studies have shown that using dependency tree structure representation is promising for this task. However, most dependency tree structures involve only one directional propagation on the dependency tree. In this paper, we first propose a novel bidirectional dependency tree network to extract dependency structure features from the given sentences. The key idea is to explicitly incorporate both representations gained separately from the bottom-up and top-down propagation on the given dependency syntactic tree. An end-to-end framework is then developed to integrate the embedded representations and BiLSTM plus CRF to learn both tree-structured and sequential features to solve the aspect term extraction problem. Experimental results demonstrate that the proposed model outperforms state-of-the-art baseline models on four benchmark SemEval datasets.

研究动机与目标

• 解决现有模型在方面术语抽取中单向依赖树传播的局限性。
• 通过显式建模依赖树中自底向上和自顶向下的依赖路径信息，提升句法特征表示。
• 开发一种端到端框架，融合树状结构与序列特征，且不依赖人工设计的语言学特征。
• 通过整合双向句法信息与深度序列建模，实现方面术语抽取基准上的卓越性能。

提出的方法

• 提出一种双向依赖树网络（BiDTree），受BiLSTM启发，采用门控机制分别在依赖树上执行自底向上和自顶向下的传播。
• 使用共享的词嵌入，并通过双向路径传播学习树状结构表示，捕捉长距离句法依赖。
• 将生成的树状结构表示与BiLSTM的序列表示融合，以丰富上下文特征。
• 在融合表示之上使用CRF层，建模标签依赖关系，并执行序列标注以实现方面术语抽取。
• 设计一种端到端训练框架，联合优化词嵌入、树表示与CRF解码过程，无需外部语言学特征。
• 评估三种在自底向上与自顶向下路径之间权重共享方式上不同的模型变体，验证了双向建模的有效性。

实验结果

研究问题

• RQ1 与单向方法相比，双向依赖树传播是否能提升方面术语抽取性能？
• RQ2 将树状结构句法特征与序列表示结合，对ATE性能有何影响？
• RQ3 所提出的端到端模型在基准数据集上相比现有最先进模型，优越程度如何？
• RQ4 该模型是否在不依赖人工设计的语言学特征（如POS或依存路径模板）的情况下仍保持卓越性能？

主要发现

• 所提出的BiDTreeCRF模型在四个SemEval基准数据集上的方面术语抽取任务中实现了最先进性能。
• 采用自底向上与自顶向下路径独立学习权重的变体表现最佳，表明双向建模能够捕捉互补的句法信息。
• 该模型优于现有最先进基线模型，包括使用CRF结合人工特征或采用两阶段训练流程的模型。
• 消融研究证实，自底向上与自顶向下的传播均对模型性能有显著贡献，验证了双向设计的有效性。
• 即使不引入额外语言学特征，该框架依然有效，表明所学习的句法表示具有强鲁棒性。
• 通过BiLSTM与CRF融合树状结构与序列特征，其标注准确率优于单独使用任一表示形式。