[论文解读] Exploring phrase-compositionality in skip-gram models

Xiaochang Peng, Daniel Gildea|arXiv (Cornell University)|Jul 21, 2016

Natural Language Processing Techniques参考文献 17被引用 3

一句话总结

本文提出了一种联合学习框架，将skip-gram模型扩展为同时优化词向量和短语向量，通过可学习的组合函数显式建模短语的组合性。通过引入短语级上下文并强制对输入和输出嵌入施加组合约束，该模型在词/短语相似性、句法类比和依存句法分析任务上均取得性能提升，在PTB依存句法分析基准上准确率最高提升0.87%。

ABSTRACT

In this paper, we introduce a variation of the skip-gram model which jointly learns distributed word vector representations and their way of composing to form phrase embeddings. In particular, we propose a learning procedure that incorporates a phrase-compositionality function which can capture how we want to compose phrases vectors from their component word vectors. Our experiments show improvement in word and phrase similarity tasks as well as syntactic tasks like dependency parsing using the proposed joint models.

研究动机与目标

• 通过联合学习词和短语嵌入来解决短语级分布式表示中的数据稀疏性问题。
• 使用可学习的组合函数建模词向量如何组合成短语向量。
• 提升在词相似性、短语相似性和依存句法分析等句法任务上的性能。
• 将短语中的位置信息和句法信息整合到嵌入学习过程中。
• 评估联合建模词级和短语级skip-gram对下游NLP任务的影响。

提出的方法

• 将标准skip-gram模型扩展为包含短语级预测，即当前短语向量用于预测上下文短语。
• 使用负采样优化短语级目标函数，通过随机梯度下降学习短语嵌入。
• 引入组合函数Φ(⊕(σ(v_w1), ..., σ(v_wn)))，利用可微操作⊕（如求和、拼接）和非线性变换Φ将词向量组合为短语向量。
• 通过超参数β平衡两个损失，联合优化词级和短语级skip-gram目标函数。
• 使用senna工具包从文本中提取句法短语（如NP、VP）以定义短语级模型中的短语。
• 对输入和输出短语嵌入使用共享的组合函数，以在嵌入空间中保持一致性。

实验结果

研究问题

• RQ1 通过可学习的组合函数联合学习词和短语嵌入，是否能提升在词和短语相似性任务上的性能？
• RQ2 建模短语级共现是否能提升依存句法分析等句法下游任务的性能？
• RQ3 在短语嵌入中引入位置和句法信息，对相似性和句法分析任务的性能有何影响？
• RQ4 组合建模与位置建模在提升嵌入质量方面的相对贡献如何？
• RQ5 通用的组合函数能否有效建模跨多样化句法结构的短语嵌入？

主要发现

• 采用组合建模的联合模型在词相似性任务（WordSim-353）上达到最高的Spearman相关系数0.704，优于word2vec和仅位置信息的基线模型。
• 在句法类比（SYN）和混合类比（MIXED）任务中，组合建模与位置建模相结合的模型表现最佳，MIXED任务准确率达到80.5%。
• 使用组合+位置联合嵌入的依存句法分析模型在PTB测试集上达到UAS 92.19%和LAS 90.82%，较基线word2vec模型分别提升0.28%和0.28%。
• 在句法短语上建模短语级skip-gram可使UAS绝对提升0.18%，证明句法结构在嵌入学习中的价值。
• 在词相似性任务中，引入位置信息会轻微降低性能，表明组合建模在语义相似性方面更为有效。
• 在不及物动词消歧任务中，联合组合模型取得最佳性能，证实其能够学习有意义的短语表示。