[论文解读] Corpus-based Learning of Analogies and Semantic Relations

Peter D. Turney, Michael L. Littman|ArXiv.org|Aug 23, 2005

Natural Language Processing Techniques参考文献 34被引用 13

一句话总结

本文提出一种基于语料库的方法，利用向量空间模型（VSM）和余弦相似度，从未标注文本中学习类比关系与语义关系。该方法在SAT风格类比题上达到47%的准确率，在名词修饰关系分类任务上达到43.2%的F值，显著优于随机猜测，且在无需依赖手工构建词典的情况下实现了该任务的最先进性能。

ABSTRACT

We present an algorithm for learning from unlabeled text, based on the Vector Space Model (VSM) of information retrieval, that can solve verbal analogy questions of the kind found in the SAT college entrance exam. A verbal analogy has the form A:B::C:D, meaning "A is to B as C is to D"; for example, mason:stone::carpenter:wood. SAT analogy questions provide a word pair, A:B, and the problem is to select the most analogous word pair, C:D, from a set of five choices. The VSM algorithm correctly answers 47% of a collection of 374 college-level analogy questions (random guessing would yield 20% correct; the average college-bound senior high school student answers about 57% correctly). We motivate this research by applying it to a difficult problem in natural language processing, determining semantic relations in noun-modifier pairs. The problem is to classify a noun-modifier pair, such as "laser printer", according to the semantic relation between the noun (printer) and the modifier (laser). We use a supervised nearest-neighbour algorithm that assigns a class to a given noun-modifier pair by finding the most analogous noun-modifier pair in the training data. With 30 classes of semantic relations, on a collection of 600 labeled noun-modifier pairs, the learning algorithm attains an F value of 26.5% (random guessing: 3.3%). With 5 classes of semantic relations, the F value is 43.2% (random: 20%). The performance is state-of-the-art for both verbal analogies and noun-modifier relations.

研究动机与目标

• 开发一种从大规模未标注文本中学习言语类比与语义关系的方法，且不依赖手工编码的知识库。
• 评估向量空间模型（VSM）在解答SAT风格言语类比题中的有效性。
• 使用基于VSM的最近邻方法对名词修饰对（如‘laser printer’）中的语义关系进行分类。
• 证明从大规模语料库中进行统计学习，可在类比与语义关系任务上实现具有竞争力的性能。
• 探索将VSM作为可扩展、语料驱动自然语言理解基础的可行性。

提出的方法

• 使用大规模网络语料中的词频，将每个词对（如mason:stone）表示为高维空间中的向量。
• 通过个体词向量的差值形成两个词之间语义关系的向量。
• 通过比较两组词对A:B与C:D的关系向量之间的余弦相似度，来度量其相似性。
• 使用有监督的最近邻算法，通过在VSM空间中寻找最相似的训练样本，对名词修饰对进行分类。
• 采用一组128个连接词（如介词、动词）生成关系向量，并通过词项加权提升表示效果。
• 在包含374道SAT风格类比题和600个标注的名词修饰对的数据集上训练并评估模型。

实验结果

研究问题

• RQ1 向量空间模型能否有效捕捉并比较言语类比中词对之间的语义关系？
• RQ2 与随机猜测和人类表现相比，基于VSM的方法在SAT风格类比题上的表现如何？
• RQ3 相同的VSM框架能否被适配以对‘laser printer’这类名词修饰结构中的语义关系进行分类？
• RQ4 不同的词项加权方案与向量表示对类比与关系分类性能有何影响？
• RQ5 是否可能从未标注文本中学习语义关系，而无需依赖手工构建的词典或知识库？

主要发现

• 基于VSM的算法正确回答了374道大学水平SAT风格类比题中的47%，显著高于随机猜测的20%预期值。
• 在5类名词修饰关系分类任务中，算法的F值达到43.2%，远超20%的随机基线。
• 在30类分类任务中，F值为26.5%，仍远高于3.3%的随机基线。
• VSM方法的性能显著优于随机猜测，表明语义关系可被有效建模为大规模语料中的统计模式。
• 结果表明，VSM是一种可行且可扩展的方法，可用于在无需手工知识的情况下学习类比与语义关系。
• 本研究证明，大规模语料库驱动的学习可在这些任务上实现最先进性能，为未来与其他NLP方法的整合铺平了道路。