[论文解读] Learning Phrase Embeddings from Paraphrases with GRUs

Zhihao Zhou, Lifu Huang+1 more|arXiv (Cornell University)|Oct 1, 2017

Topic Modeling参考文献 30被引用 6

一句话总结

本文提出了一种成对GRU框架，利用大规模释义数据库学习组合短语表征，避免依赖句法结构或人工标注数据。该方法通过在成对短语上应用门控循环单元来建模语义相似性，在短语相似性任务上实现了最先进性能。

ABSTRACT

Learning phrase representations has been widely explored in many Natural Language Processing tasks (e.g., Sentiment Analysis, Machine Translation) and has shown promising improvements. Previous studies either learn non-compositional phrase representations with general word embedding learning techniques or learn compositional phrase representations based on syntactic structures, which either require huge amounts of human annotations or cannot be easily generalized to all phrases. In this work, we propose to take advantage of large-scaled paraphrase database and present a pairwise-GRU framework to generate compositional phrase representations. Our framework can be re-used to generate representations for any phrases. Experimental results show that our framework achieves state-of-the-art results on several phrase similarity tasks.

研究动机与目标

• 开发一种学习组合短语表征的方法，该方法可泛化至所有短语，且无需句法解析。
• 通过利用大规模释义数据库，减少对昂贵人工标注数据的依赖。
• 通过使用循环架构建模语义组合，提升短语相似性性能。
• 创建一个可重用的框架，用于生成适用于多种自然语言处理任务的短语嵌入。

提出的方法

• 该框架采用成对GRU架构，同时编码两个短语，以捕捉其语义关系。
• 它使用门控循环单元（GRUs）来建模序列依赖关系，并学习短语的上下文感知表征。
• 该模型在大规模释义对上进行训练，其中语义相似的短语被用作正样本进行训练。
• 最终的短语表征通过连接两个GRU编码器的最终隐藏状态获得。
• 该框架可端到端训练，且无需显式句法结构或外部语言学标注。
• 通过复用训练好的模型，可实现对任意新短语对的零样本表征生成。

实验结果

研究问题

• RQ1 在释义对上进行训练的神经网络，是否能在无需句法解析的情况下学习到有效的组合短语表征？
• RQ2 与现有方法相比，成对GRU框架在未见短语对上的泛化能力如何？
• RQ3 大规模释义数据在在多大程度上可以替代人工标注数据来学习短语嵌入？
• RQ4 该模型是否在短语相似性基准任务上优于现有方法？

主要发现

• 所提出的成对GRU框架在多个短语相似性任务上实现了最先进性能。
• 该模型在无需微调或结构修改的情况下，能有效泛化至未见短语。
• 性能提升归因于模型通过在释义对上进行序列建模，学习组合语义的能力。
• 该框架在保持高准确率的同时，减少了对昂贵人工标注和句法解析的依赖。