[论文解读] Unsupervised Word and Dependency Path Embeddings for Aspect Term Extraction

Yichun Yin, Furu Wei+4 more|arXiv (Cornell University)|May 25, 2016

Advanced Text Analysis Techniques被引用 82

一句话总结

该论文提出了一种无监督方法，通过分布式词向量和依存路径嵌入进行方面词项抽取，利用 RNN 学习的路径表示建模句法关系，目标函数为 w₁ + r ≈ w₂。该方法仅使用基于嵌入的特征，在 CRF 模型中实现了最先进性能，表明句法结构显著提升了基于词级表示的方面词项检测效果。

ABSTRACT

In this paper, we develop a novel approach to aspect term extraction based on unsupervised learning of distributed representations of words and dependency paths. The basic idea is to connect two words (w1 and w2) with the dependency path (r) between them in the embedding space. Specifically, our method optimizes the objective w1 + r = w2 in the low-dimensional space, where the multi-hop dependency paths are treated as a sequence of grammatical relations and modeled by a recurrent neural network. Then, we design the embedding features that consider linear context and dependency context information, for the conditional random field (CRF) based aspect term extraction. Experimental results on the SemEval datasets show that, (1) with only embedding features, we can achieve state-of-the-art results; (2) our embedding method which incorporates the syntactic information among words yields better performance than other representative ones in aspect term extraction.

研究动机与目标

• 通过无监督表示学习引入句法结构，以提升方面词项抽取性能。
• 使用 RNN 将多跳依存路径建模为语法关系序列，以改进词表示。
• 设计基于嵌入的特征——线性上下文、依存上下文和词嵌入——用于基于 CRF 的序列标注。
• 仅使用无监督嵌入实现与顶尖系统相当的性能，避免依赖人工设计特征。
• 验证句法感知嵌入在方面词项抽取中优于标准词嵌入。

提出的方法

• 该方法在低维空间中优化目标函数 w₁ + r ≈ w₂，其中 w₁ 和 w₂ 为词嵌入，r 为依存路径。
• 依存路径被建模为语法关系序列，并通过循环神经网络（RNN）进行嵌入。
• 通过与线性上下文信息的多任务学习增强词嵌入。
• 将连续嵌入离散化，以使其适用于 CRF 模型。
• 特征工程结合目标词嵌入、线性上下文嵌入和依存上下文嵌入，作为 CRF 的输入。
• 最终模型仅使用这些学习到的嵌入作为特征，不依赖人工规则或外部知识。

实验结果

研究问题

• RQ1 无监督词向量与依存路径嵌入是否能在无标注数据的情况下提升方面词项抽取性能？
• RQ2 w₁ + r ≈ w₂ 目标函数在捕捉句法关系以支持方面词项检测方面有多有效？
• RQ3 引入多跳依存路径表示是否能带来优于仅使用词嵌入的性能提升？
• RQ4 仅使用学习到的嵌入特征，CRF 模型能否实现最先进性能？
• RQ5 句法结构与上下文信息如何协同作用，以区分方面词项与非方面词项？

主要发现

• 所提方法在 SemEval 2014 数据集上仅使用基于嵌入的特征，即实现了最先进 F1 得分 79.23。
• WDEmb 模型（包含词嵌入与依存路径嵌入）相比基线 DepEmb 提升了 1.46 F1 分（p < 0.05）。
• 当区间数量 l=15、嵌入维度 d=100 时性能达到峰值，兼顾准确率与训练效率。
• 定性分析表明，学习到的嵌入能够捕捉句法与主题相似性，红色与蓝色高亮分别表示功能上与主题上不匹配的词。
• 该方法在具有相似线性上下文但句法角色不同的方面词项上显著提升性能，证明了句法结构的价值。
• 离散化嵌入在 CRF 模型中表现有效，且该方法在无需人工特征的情况下实现了具有竞争力的结果。