[论文解读] A Uniform Approach to Analogies, Synonyms, Antonyms, and Associations

Peter D. Turney|ArXiv.org|Aug 31, 2008

Natural Language Processing Techniques参考文献 24被引用 26

一句话总结

本文提出一种统一的、基于语料库的机器学习方法，将类比、同义词、反义词和关联关系统一视为同一分类问题——语义关系分类——使用在大规模语料库中训练的模式频率的监督支持向量机（SVM）进行处理。该方法在无需任务特定调优的情况下，在多个自然语言处理任务中均表现出具有竞争力的性能，证明单一算法可通过将各类关系归约为类比推理，来处理多样化的语义关系。

ABSTRACT

Recognizing analogies, synonyms, antonyms, and associations appear to be four distinct tasks, requiring distinct NLP algorithms. In the past, the four tasks have been treated independently, using a wide variety of algorithms. These four semantic classes, however, are a tiny sample of the full range of semantic phenomena, and we cannot afford to create ad hoc algorithms for each semantic phenomenon; we need to seek a unified approach. We propose to subsume a broad range of phenomena under analogies. To limit the scope of this paper, we restrict our attention to the subsumption of synonyms, antonyms, and associations. We introduce a supervised corpus-based machine learning algorithm for classifying analogous word pairs, and we show that it can solve multiple-choice SAT analogy questions, TOEFL synonym questions, ESL synonym-antonym questions, and similar-associated-both questions from cognitive psychology.

研究动机与目标

• 将类比、同义词、反义词和关联关系统一纳入单一的语义分类框架下进行处理。
• 开发一种基于语料库的监督机器学习算法，避免依赖WordNet等词典资源。
• 证明单一算法可在无需任务特定参数调优的情况下，良好地完成多种语义关系任务。
• 证明语义关系可被建模为比例类比，且这四种现象具有相同的底层机制。
• 推进一种关系化的词义观，即意义由词语之间的关系定义，而非孤立的词属性。

提出的方法

• 该方法采用监督学习框架，特征向量基于大规模文本语料库中自动生成的语言模式的频率构建。
• 每个词对被表示为模式频率的向量，其中模式为形如[0–1个词] X [0–3个词] Y [0–1个词]的短语，X和Y为词对的词形变体。
• 使用morpha和morphg工具进行词形归一化，以处理屈折变化和派生形式。
• 训练支持向量机（SVM）以将词对分类至语义关系类别，如'artisan:material'或'entity:carrier'。
• 该算法为每个可能的标签生成概率估计，支持下游处理，并避免使用奇异值分解（SVD）进行特征平滑。
• 该方法应用于四项不同任务：SAT类比题、TOEFL同义词题、ESL同义词-反义词区分题，以及认知心理学中的词对关联任务。

实验结果

研究问题

• RQ1 基于语料库模式的单一统一算法能否以相近性能识别类比、同义词、反义词和关联关系？
• RQ2 是否可能在不损失准确率的前提下，将同义词、反义词和关联关系统一归入类比的更广泛类别？
• RQ3 纯基于语料库的方法是否在这些语义任务中优于或至少可与基于词典的方法相媲美？
• RQ4 一组单一的学习参数能否在无需重新调优的情况下泛化至多种多样的语义关系任务？
• RQ5 在监督学习框架中，语义关系在多大程度上可被建模为比例类比？

主要发现

• 所提出的算法在多项选择题SAT类比题上达到具有竞争力的准确率，优于以往基于语料库的系统，并接近专用算法的性能。
• 该方法在SAT类比题上达到56%的准确率，与先前工作中报告的最佳基于语料库结果相当。
• 其在TOEFL和ESL数据集上的同义词与反义词分类任务中表现良好，证明其泛化能力超越类比任务。
• 该算法在认知心理学数据集上对词对进行'相似'、'相关'或'两者皆是'的标注任务中表现良好，表明其具有广泛适用性。
• 使用SVM进行概率估计，并避免使用SVD和词典，简化了处理流程，同时保持了性能。
• 结果支持如下假设：大多数词汇知识具有关系性，且类比推理可统一解释多种多样的语义现象。