[论文解读] A new simple and effective measure for bag-of-word inter-document similarity measurement

Sunil Aryal, Kai Ming Ting+2 more|arXiv (Cornell University)|Feb 9, 2019

Topic Modeling参考文献 18被引用 16

一句话总结

本文提出 Sp，一种新颖的跨文档相似度度量方法，通过使用基于概率的方法评估词袋向量中的词级相似度，绕过了传统的词项加权。在二值化 BoW 表示中，Sp 表现优于余弦相似度和采用各种加权方案的 BM25；在基于词频的表示中，Sp 也取得了更具竞争力且更一致的结果。

ABSTRACT

To measure the similarity of two documents in the bag-of-words (BoW) vector representation, different term weighting schemes are used to improve the performance of cosine similarity---the most widely used inter-document similarity measure in text mining. In this paper, we identify the shortcomings of the underlying assumptions of term weighting in the inter-document similarity measurement task; and provide a more fit-to-the-purpose alternative. Based on this new assumption, we introduce a new simple but effective similarity measure which does not require explicit term weighting. The proposed measure employs a more nuanced probabilistic approach than those used in term weighting to measure the similarity of two documents w.r.t each term occurring in the two documents. Our empirical comparison with the existing similarity measures using different term weighting schemes shows that the new measure produces (i) better results in the binary BoW representation; and (ii) competitive and more consistent results in the term-frequency-based BoW representation.

研究动机与目标

• 识别现有词项加权假设在跨文档相似度度量中的局限性。
• 提出一种不依赖显式词项加权的新相似度度量方法，以提升一致性和性能。
• 在多种数据集和 BoW 表示中评估新度量方法，特别是在隐私敏感领域。
• 证明 Sp 在无需词项加权调整的情况下，性能优于或等同于最先进方法。

提出的方法

• 所提出的 Sp 度量方法基于共现和分布模式，使用概率框架计算两篇文档间每个词的相似度。
• 它计算一个词特定的相似度得分，反映共享相关性的可能性，而不依赖于 tf 或 idf 因子。
• 整体文档相似度通过加权求和方式从每个词的相似度中推导得出，采用归一化聚合以确保尺度不变性。
• 该方法设计简洁高效，避免了 tf-idf 或 BM25 中常见的复杂参数调优。
• 它直接作用于原始 BoW 向量——包括二值化和基于词频的表示——无需预处理或加权。
• 该方法基于一个新假设：相似度应反映词在上下文中的概率相关性，而不仅仅是频率或稀有性。

实验结果

研究问题

• RQ1 当应用于基于示例的查询任务时，如 tf-idf 等现有词项加权方案在跨文档相似度中的表现如何？
• RQ2 能否设计一种不显式依赖词项加权但性能保持或提升的相似度度量方法？
• RQ3 所提出的 Sp 度量方法是否在二值化和基于词频的 BoW 表示中均优于余弦相似度和 BM25？
• RQ4 与采用不同加权方案的传统度量相比，Sp 在多种数据集上是否表现出更高的稳定性？
• RQ5 在词频信息被隐藏的隐私敏感应用中，Sp 是否可作为稳健的替代方案？

主要发现

• 在二值化 BoW 表示中，Sp 显著优于余弦相似度和任何词项加权方案下的 BM25。
• 在基于词频的 BoW 表示中，Sp 在多个数据集上均表现出具有竞争力且更一致的结果，优于现有度量方法。
• Sp 的性能稳定，不依赖于词项加权参数的调优，而余弦相似度或 BM25 则不然。
• 当与 tf-idf 结合时，Sp 优于加权 Jaccard 相似度，表明其在建模词级相关性方面更具优势。
• 即使在缺乏词频信息的情况下，Sp 仍能保持强劲性能，使其适用于隐私保护型应用。
• 实证评估证实，Sp 在不同文本挖掘任务中均表现稳健，尤其在基于示例的查询场景中。