[论文解读] Learning Analogies and Semantic Relations

Peter D. Turney, Michael L. Littman|ArXiv.org|Jul 24, 2003

Natural Language Processing Techniques参考文献 36被引用 13

一句话总结

本文提出了一种基于向量空间模型（VSM）的算法，通过无标签文本学习语义关系，并解决词汇类比问题。该方法在SAT类比题上达到47%的准确率，在五类语义关系分类任务上达到43.2%的F值，显著优于随机猜测和当时最先进的方法。

ABSTRACT

We present an algorithm for learning from unlabeled text, based on the Vector Space Model (VSM) of information retrieval, that can solve verbal analogy questions of the kind found in the Scholastic Aptitude Test (SAT). A verbal analogy has the form A:B::C:D, meaning "A is to B as C is to D"; for example, mason:stone::carpenter:wood. SAT analogy questions provide a word pair, A:B, and the problem is to select the most analogous word pair, C:D, from a set of five choices. The VSM algorithm correctly answers 47% of a collection of 374 college-level analogy questions (random guessing would yield 20% correct). We motivate this research by relating it to work in cognitive science and linguistics, and by applying it to a difficult problem in natural language processing, determining semantic relations in noun-modifier pairs. The problem is to classify a noun-modifier pair, such as "laser printer", according to the semantic relation between the noun (printer) and the modifier (laser). We use a supervised nearest-neighbour algorithm that assigns a class to a given noun-modifier pair by finding the most analogous noun-modifier pair in the training data. With 30 classes of semantic relations, on a collection of 600 labeled noun-modifier pairs, the learning algorithm attains an F value of 26.5% (random guessing: 3.3%). With 5 classes of semantic relations, the F value is 43.2% (random: 20%). The performance is state-of-the-art for these challenging problems.

研究动机与目标

• 开发一种利用分布语义学从无标签文本中学习语义关系的方法。
• 在无需标注训练数据的情况下解决词汇类比问题（例如，mason:stone::carpenter:wood）。
• 将名词修饰语短语（如“laser printer”）中的语义关系分类为预定义的关系类型。
• 在语义关系分类任务上的性能超越随机猜测以及当时已有的方法。
• 将认知科学和语言学的见解与机器学习结合，用于NLP任务。

提出的方法

• 使用信息检索中的向量空间模型（VSM）将词语和短语表示为高维空间中的向量。
• 通过求解使C与D的余弦相似度最大的方式，利用词向量之间的余弦相似度识别类比关系（A:B::C:D），当A和B给定时寻找D。
• 应用监督最近邻算法，通过寻找最相似的训练样本，对名词修饰语对中的语义关系进行分类。
• 在包含600个标注的名词修饰语对的数据集上进行训练，关系类别为30个或5个预定义类型。
• 利用向量空间相似度计算类比关系并分类语义关系，无需显式语法解析或句法规则。
• 利用大规模语料库中的分布相似性，推断语义关系，无需人工标注。

实验结果

研究问题

• RQ1 仅使用无标签文本，分布语义向量空间模型能否有效解决来自SAT的词汇类比问题？
• RQ2 同一模型能否学习并分类如“laser printer”这类名词修饰语中的语义关系？
• RQ3 语义关系分类的性能与随机猜测及先前方法相比如何？
• RQ4 减少语义关系类别数量对分类准确率有何影响？
• RQ5 无监督的分布语义能否捕捉语言中的认知层面类比推理？

主要发现

• 该基于VSM的算法在374道大学水平词汇类比题的基准测试中达到47%的准确率，远高于随机猜测的20%预期。
• 在五类语义关系分类任务中，该算法达到43.2%的F值，显著超过随机猜测的20%基线。
• 在30种类别语义关系分类任务中，该算法达到26.5%的F值，仍远高于随机猜测的3.3%预期。
• 该方法表明，向量空间模型中的分布语义能够捕捉自然语言中复杂的类比与关系推理。
• 结果表明，从无标签文本中进行无监督学习，可在当时达到语义关系分类和类比求解的最先进性能。
• 该方法为语义关系学习提供了一种可扩展、数据驱动的替代方案，优于基于规则或词典标注的方法。