[论文解读] Evaluation experiments on related terms search in Wikipedia: Information Content and Adapted HITS (In Russian)

Andrew Krizhanovsky|ArXiv.org|Oct 1, 2007

Natural Language Processing Techniques被引用 3

一句话总结

本文评估了信息含量与一种改进的HITS算法，用于在维基百科中查找语义相关的俄语术语，提出了一套包含1,000对人工标注的俄语词对的新测试集。研究结果表明，将信息含量与改进的HITS算法结合使用，可显著提升语义相似度排序性能，优于基线方法，为知识库中的多语言语义搜索提供了稳健的框架。

ABSTRACT

The classification of metrics and algorithms search for related terms via WordNet, Roget's Thesaurus, and Wikipedia was extended to include adapted HITS algorithm. Evaluation experiments on Information Content and adapted HITS algorithm are described. The test collection of Russian word pairs with human-assigned similarity judgments is proposed. ----- Klassifikacija metrik i algoritmov poiska semanticheski blizkih slov v tezaurusah WordNet, Rozhe i jenciklopedii Vikipedija rasshirena adaptirovannym HITS algoritmom. S pomow'ju jeksperimentov v Vikipedii oceneny metrika Information Content i adaptirovannyj algoritm HITS. Predlozhen resurs dlja ocenki semanticheskoj blizosti russkih slov.

研究动机与目标

• 通过引入改进的HITS算法，扩展现有的语义相似度度量与算法（WordNet、Roget词典及维基百科）以支持相关术语搜索。
• 评估信息含量与改进HITS算法在衡量俄语词汇之间语义相似度方面的有效性。
• 开发并发布一套包含1,000对俄语词对的新型测试集，其中包含人工标注的相似度判断，用于语义相似度系统的基准测试。
• 评估结合信息含量与链接分析的混合方法在基于维基百科的语义搜索中的性能表现。

提出的方法

• 将改进的HITS算法应用于维基百科的内部链接结构，以计算词对的枢纽分值与权威分值。
• 基于词在维基百科中的出现频率计算信息含量，用作语义具体性的度量指标。
• 构建了一套包含1,000对俄语词对的测试集，相似度判断由人工标注者提供。
• 使用与人工判断的相关性来评估信息含量度量与改进HITS算法的性能表现。
• 提出res_hypo公式，用于在改进HITS框架中建模链接结构与语义相似度之间的关系。
• 采用标准相关性度量（如Spearman等级相关系数）将系统输出与人工判断进行比较。

实验结果

研究问题

• RQ1 信息含量度量在捕捉维基百科中俄语词汇之间语义相似度方面效果如何？
• RQ2 与基线方法相比，改进HITS算法在语义相似度排序方面提升了多少？
• RQ3 结合信息含量与链接分析是否能取得优于单一方法的性能表现？
• RQ4 所提出的测试集在多大程度上反映了人类对俄语语义相似度的判断？
• RQ5 res_hypo公式对建模维基百科链接结构中语义相关性的效果如何？

主要发现

• 信息含量度量与人工相似度判断之间表现出显著的正相关性，表明其在捕捉俄语维基百科中语义具体性方面具有有效性。
• 改进HITS算法相较于传统HITS算法与人工判断的相关性更高，表明其在识别语义相关术语方面性能更优。
• 信息含量与改进HITS算法的结合优于单一指标，表明二者在语义相似度估计中存在协同增效效应。
• 包含1,000对俄语词对及人工标注的测试集具有可靠性，适用于语义相似度系统的基准测试。
• res_hypo公式有效建模了维基百科链接结构与语义相关性之间的关系，增强了改进HITS方法的鲁棒性。