[论文解读] Normalized Web Distance and Word Similarity

Rudi Cilibrasi, Paul Vitányi|ArXiv.org|May 25, 2009

Advanced Text Analysis Techniques参考文献 27被引用 26

一句话总结

本文提出归一化网络距离（NWD）作为一种实用的、无需压缩的词相似度度量方法，通过利用网络搜索统计的聚合数据来实现。通过使用搜索引擎的搜索命中次数来近似信息论距离，NWD 在 0 到 1 之间生成相似度分数，实证验证显示其与人类标注的语义一致性（如 WordNet）具有高度一致性（平均准确率 0.8725）。

ABSTRACT

There is a great deal of work in cognitive psychology, linguistics, and computer science, about using word (or phrase) frequencies in context in text corpora to develop measures for word similarity or word association, going back to at least the 1960s. The goal of this chapter is to introduce the normalizedis a general way to tap the amorphous low-grade knowledge available for free on the Internet, typed in by local users aiming at personal gratification of diverse objectives, and yet globally achieving what is effectively the largest semantic electronic database in the world. Moreover, this database is available for all by using any search engine that can return aggregate page-count estimates for a large range of search-queries. In the paper introducing the NWD it was called `normalized Google distance (NGD),' but since Google doesn't allow computer searches anymore, we opt for the more neutral and descriptive NWD. web distance (NWD) method to determine similarity between words and phrases. It

研究动机与目标

• 开发一种可扩展的、自动化的词与短语语义相似度度量方法，无需依赖人工整理的知识库。
• 利用庞大而未结构化的网络作为低成本、大规模的语义数据库，用于计算词相似度。
• 为自然语言处理中的对齐方法或特征工程方法提供一种计算高效的替代方案。
• 通过与人类标注的语义相似度基准（如 WordNet）对比，验证 NWD 方法的有效性。

提出的方法

• NWD 使用网络搜索引擎的搜索命中次数来计算词相似度，将这些数据视为信息论概率的代理。
• 该方法应用源自信息论的归一化距离公式，通过网页频率近似柯尔莫哥洛夫复杂度。
• 关键组成部分包括单个词项频率（P(x)）、共现频率（P(x,y)）以及对全局网络规模的估计（N），用于计算归一化距离。
• NWD 公式为：eG(x,y) = [max{log P(x), log P(y)} - log P(x,y)] / [max{log P(x), log P(y)}]，其中 x 和 y 为词项。
• 该方法使用锚定词和向量化技术，将新词与一组固定参考词进行比较，并通过缓存重复查询提高效率。
• 通过随机试验验证该方法，将基于 NWD 的分类结果与人类标注的语义一致性数据进行对比。

实验结果

研究问题

• RQ1 网络搜索统计能否提供一种可靠且可扩展的词之间语义相似度代理？
• RQ2 基于 NWD 的相似度与人类标注的语义相似度（如 WordNet）的相关性如何？
• RQ3 当索引网络语料库规模发生变化时，NWD 方法是否保持稳定？
• RQ4 NWD 是否可在无需人工特征工程的情况下有效应用于自动化分类任务？

主要发现

• NWD 方法在词相似度分类中实现了 0.8725 的平均准确率，表明其与人类标注的语义一致性数据高度一致。
• 在缩小至原大小一半的网络索引上测试时，'horse' 与 'rider' 的 NWD 分数仅从 0.443 略微变化至 0.460，表明对语料库规模波动具有鲁棒性。
• 该方法表现出高度一致性，100 次随机试验的平均标准差约为 0.1169，表明性能低于 75% 一致性的概率极低。
• 通过查询缓存，100 次实验中所需网络搜索总数减少至 49,600 次，证明了其计算效率。
• 尽管由于不满足三角不等式而非真正度量，NWD 仍能正确捕捉相对语义关系——例如，'man' 与 'centaur' 接近，'centaur' 与 'horse' 接近，但 'man' 与 'horse' 相距较远。