[论文解读] A Measure of Similarity in Textual Data Using Spearman's Rank Correlation Coefficient

Nino Arsov, Milan Dukovski+2 more|arXiv (Cornell University)|Nov 26, 2019

Advanced Text Analysis Techniques参考文献 14被引用 10

一句话总结

本文提出将斯皮尔曼等级相关系数（SRCC）作为一种新颖的文本数据相似性度量方法，应用于向量空间模型中，利用其检测非线性关系的能力。在14篇文本文档上的实验表明，SRCC在捕捉语义相似性方面优于余弦相似性和皮尔逊相关系数，尤其在术语重叠较低但概念关联有意义的情况下表现更优，证明了其在知识抽取任务中的鲁棒性。

ABSTRACT

In the last decade, many diverse advances have occurred in the field of information extraction from data. Information extraction in its simplest form takes place in computing environments, where structured data can be extracted through a series of queries. The continuous expansion of quantities of data have therefore provided an opportunity for knowledge extraction (KE) from a textual document (TD). A typical problem of this kind is the extraction of common characteristics and knowledge from a group of TDs, with the possibility to group such similar TDs in a process known as clustering. In this paper we present a technique for such KE among a group of TDs related to the common characteristics and meaning of their content. Our technique is based on the Spearman's Rank Correlation Coefficient (SRCC), for which the conducted experiments have proven to be comprehensive measure to achieve a high-quality KE.

研究动机与目标

• 解决传统相似性度量在术语重叠较低但概念相关性较高时难以捕捉语义相似性的局限性。
• 评估斯皮尔曼等级相关系数（SRCC）在衡量文本文档TF-IDF向量表示之间相似性方面的有效性。
• 证明SRCC能够检测出余弦和皮尔逊相关可能失效的文本数据中的非线性关联。
• 为自然语言处理中的聚类和知识抽取提供一种可靠且非标准的相似性度量替代方案。
• 通过在涵盖多个主题的多样化文本文档集上进行实证实验验证该方法。

提出的方法

• 使用TF-IDF加权方案将文本文档表示为向量空间中的向量，将每篇文档转换为数值向量。
• 通过斯皮尔曼等级相关系数（SRCC）计算文档对之间的相似性，该方法评估排序后术语权重之间的单调关系。
• 将SRCC与现有标准度量方法进行比较：余弦相似性（CS）和皮尔逊相关系数（PCC）。
• SRCC通过分别对每篇文档向量中术语的TF-IDF值进行排序，然后计算两组秩向量之间的相关性来计算。
• 在包含14篇涵盖多样化主题（如外星人、法律、新闻、故事等）的文本文档数据集上评估该方法，以测试其在不同语义情境下的鲁棒性。
• 通过可视化和定量比较SRCC、CS和PCC，评估其在检测有意义文档相似性方面的性能。

实验结果

研究问题

• RQ1 当术语重叠较小时，斯皮尔曼等级相关系数能否有效衡量文本文档之间的语义相似性？
• RQ2 SRCC在检测文本数据中的非线性关系方面与余弦相似性和皮尔逊相关性相比表现如何？
• RQ3 在术语重叠较低但概念相关性较高的情况下，SRCC是否能提供比传统度量更真实的相似性评分？
• RQ4 SRCC能否在涉及异质性文本内容的知识抽取和文档聚类任务中被可靠使用？
• RQ5 SRCC在检测文档之间细微或间接语义关联方面的表现如何？

主要发现

• SRCC对文档d₁和d₅的相似性评分为0.0018，这两篇文档讨论的是无关主题（领导力 vs. 家庭与医疗假），表明语义关联极低。
• 相比之下，余弦相似性对同一组文档给出了0.36的高分，这表明由于‘employee’一词的术语重叠，产生了误导性的相似性判断。
• 对于高度相似的文档d₈和d₉（均讨论外星人目击事件），SRCC达到了0.95的相似性，与余弦相似性0.97和皮尔逊相关系数0.97非常接近。
• SRCC检测到了d₆和d₁₀之间存在的非线性关联（相似性为0.022），而余弦和皮尔逊相关性未能有效捕捉该关系，显示出其在非线性情境下的优势。
• 该方法在多样化文档对中表现出一致性能，SRCC值通常与语义直觉相符，尤其在其他度量方法失效的情况下表现更优。
• 视觉分析证实，即使术语重叠较少，SRCC也能有效区分语义无关的文档对与明显相关的文档对。