[论文解读] Measuring Semantic Similarity by Latent Relational Analysis

Peter D. Turney|ArXiv.org|Aug 10, 2005

Topic Modeling参考文献 13被引用 165

一句话总结

本文提出潜在关系分析（LRA），一种通过从语料库中自动派生模式、应用奇异值分解（SVD）平滑频率数据，并利用同义词重述词对来度量语义相似性的方法。LRA在大学水平词汇类比任务上达到人类水平表现，并在类比和语义关系分类任务上显著优于向量空间模型（VSM）。

ABSTRACT

This paper introduces Latent Relational Analysis (LRA), a method for measuring semantic similarity. LRA measures similarity in the semantic relations between two pairs of words. When two pairs have a high degree of relational similarity, they are analogous. For example, the pair cat:meow is analogous to the pair dog:bark. There is evidence from cognitive science that relational similarity is fundamental to many cognitive and linguistic tasks (e.g., analogical reasoning). In the Vector Space Model (VSM) approach to measuring relational similarity, the similarity between two pairs is calculated by the cosine of the angle between the vectors that represent the two pairs. The elements in the vectors are based on the frequencies of manually constructed patterns in a large corpus. LRA extends the VSM approach in three ways: (1) patterns are derived automatically from the corpus, (2) Singular Value Decomposition is used to smooth the frequency data, and (3) synonyms are used to reformulate word pairs. This paper describes the LRA algorithm and experimentally compares LRA to VSM on two tasks, answering college-level multiple-choice word analogy questions and classifying semantic relations in noun-modifier expressions. LRA achieves state-of-the-art results, reaching human-level performance on the analogy questions and significantly exceeding VSM performance on both tasks.

研究动机与目标

• 开发一种基于词对之间关系结构的语义相似性度量方法。
• 通过自动化模式提取和减少频率数据中的噪声，改进向量空间模型（VSM）。
• 提升在词汇类比和名词修饰关系分类等语义相似性任务上的表现。
• 利用分布语义学方法在标准化类比测试中实现人类水平表现。
• 证明关系相似性是认知和语言处理中的核心组成部分。

提出的方法

• LRA从大规模语料库中自动提取语言模式，而非依赖人工构建的模式。
• 对模式频率矩阵应用奇异值分解（SVD），以降低维度并平滑噪声数据。
• 利用同义词对词对进行重述，增加相关模式数量并提升覆盖范围。
• 通过在降维后的SVD空间中计算向量表示之间的余弦相似度，度量两组词对之间的关系相似性。
• 通过捕捉上下文中的共现模式来建模语义关系，支持类比推理。
• 最终的相似度得分反映了两组词对之间关系类比的程度。

实验结果

研究问题

• RQ1 与人工模式筛选相比，自动模式提取是否能提升语义相似性度量性能？
• RQ2 SVD-based平滑在语义相似性任务上的性能提升程度如何？
• RQ3 基于同义词的重述能否提高关系相似性计算的鲁棒性和准确性？
• RQ4 LRA是否在词汇类比任务上达到人类水平表现？
• RQ5 在名词修饰结构的语义关系分类任务中，LRA与向量空间模型（VSM）相比表现如何？

主要发现

• LRA在一组大学水平的多项选择词汇类比问题上达到最先进性能，准确率接近人类水平。
• 在词汇类比任务中，LRA显著优于向量空间模型（VSM），证明了自动模式提取和SVD平滑的有效性。
• 在语义关系分类任务中，LRA的性能大幅超越VSM，表明其对关系结构的建模能力更强。
• 利用同义词重述词对显著增加了相关模式的数量，并有助于提升相似度得分。
• 奇异值分解有效降低了频率数据中的噪声，使相似度估计更加稳定和准确。
• 结果支持了关系相似性是类比推理和语义理解核心机制的假设。