[论文解读] Learning to Understand Phrases by Embedding the Dictionary

Felix Hill, Kyunghyun Cho+2 more|arXiv (Cornell University)|Apr 2, 2015

Natural Language Processing Techniques参考文献 29被引用 14

一句话总结

本文提出通过训练神经语言模型，将词典定义映射为词嵌入，从而实现有效的短语和句子表示学习。利用来自免费词源资源的定义，结合RNN与词袋模型，该方法在反向词典和填字谜问答任务上达到最先进性能，优于商业系统，且无需任务特定工程或大量数据。

ABSTRACT

Distributional models that learn rich semantic word representations are a success story of recent NLP research. However, developing models that learn useful representations of phrases and sentences has proved far harder. We propose using the definitions found in everyday dictionaries as a means of bridging this gap between lexical and phrasal semantics. Neural language embedding models can be effectively trained to map dictionary definitions (phrases) to (lexical) representations of the words defined by those definitions. We present two applications of these architectures: "reverse dictionaries" that return the name of a concept given a definition or description and general-knowledge crossword question answerers. On both tasks, neural language embedding models trained on definitions from a handful of freely-available lexical resources perform as well or better than existing commercial systems that rely on significant task-specific engineering. The results highlight the effectiveness of both neural embedding architectures and definition-based training for developing models that understand phrases and sentences.

研究动机与目标

• 解决短语和句子分布式表示学习的挑战，此类任务缺乏用于训练和评估的黄金标准。
• 通过将词典定义作为监督信号，连接词汇语义与短语语义，训练模型将短语映射为词向量。
• 提出一种通用的评估框架，用于短语表示模型，基于反向词典任务。
• 证明基于定义训练的神经语言模型可泛化至开放域问答任务，如填字谜求解。
• 通过在同一框架中利用双语词表示，实现跨语言应用。

提出的方法

• 在大规模单语文本上使用Word2Vec训练词嵌入，获得固定且连续的词向量表示。
• 将这些预训练的词向量作为目标，用于训练神经语言模型，将输入的定义（短语）映射为对应的词嵌入。
• 实现两种架构：一种基于长短期记忆（LSTM）的RNN，保留词序；另一种更简单的前馈词袋（BOW）模型，将输入视为无序。
• 通过反向传播训练模型，以最小化网络最终隐藏状态与目标词嵌入向量之间的差异。
• 将训练好的模型应用于两个任务：反向词典（将定义映射为词）和通用知识填字谜求解（将提示映射为答案）。
• 通过结合双语词嵌入模型，将该框架扩展至跨语言场景，实现多语言反向词典应用。

实验结果

研究问题

• RQ1 词典定义能否作为可靠监督信号，用于训练神经模型以学习短语和句子表示？
• RQ2 与现有系统相比，RNN和BOW模型在将定义映射为词嵌入方面的表现如何？
• RQ3 在无需任务特定调优的情况下，基于定义训练的模型能否泛化至开放域问答任务（如填字谜求解）？
• RQ4 尽管忽略词序，简单词袋模型在多大程度上能超越序列感知的RNN？
• RQ5 能否通过双语词嵌入将该框架扩展至跨语言场景？

主要发现

• 仅使用少量免费提供的词典进行训练的神经语言模型，其性能与商业反向词典系统相当或更优，而后者依赖大量任务特定工程。
• 基于LSTM的RNN模型在反向词典任务中优于BOW模型，尤其在生成一致且语义连贯的候选词列表方面表现更佳。
• 在通用知识填字谜提示上，RNN和BOW模型均优于专门设计的商业填字谜求解器，尤其在提示超过四个词时表现更优。
• BOW模型即使忽略词序且查询与定义之间无直接词汇重叠，仍能成功检索正确答案，表明其对学习到的语义关系具有强大泛化能力。
• 模型能够推断出训练数据中未显式关联的概念之间的联系，例如通过共享语义上下文将“atonal”与“Schoenberg”关联起来。
• 通过结合双语词嵌入，该框架可实现功能性的跨语言反向词典，表明其在多种语言间具有广泛适用性。