[论文解读] Indexing with WordNet synsets can improve Text Retrieval

Julio Gonzalo, Felisa Verdejo+2 more|arXiv (Cornell University)|Aug 5, 1998

Topic Modeling参考文献 7被引用 184

一句话总结

本文提出使用WordNet同义词集（synsets）而非词形来索引文本检索系统，实验证明在人工消歧的测试集上检索性能最高提升29%。该方法利用完整的语义消歧与语义等价性，提升精确率与召回率，表明当查询与文档得到恰当消歧时，基于同义词集的索引优于标准的词形索引。

ABSTRACT

The classical, vector space model for text retrieval is shown to give better results (up to 29% better in our experiments) if WordNet synsets are chosen as the indexing space, instead of word forms. This result is obtained for a manually disambiguated test collection (of queries and documents) derived from the Semcor semantic concordance. The sensitivity of retrieval performance to (automatic) disambiguation errors when indexing documents is also measured. Finally, it is observed that if queries are not disambiguated, indexing by synsets performs (at best) only as good as standard word indexing.

研究动机与目标

• 评估WordNet同义词集作为文本检索索引空间的潜力，独立于消歧挑战。
• 衡量在文档索引过程中自动词义消歧（WSD）错误对检索性能的影响程度。
• 评估当查询未被消歧时，同义词集索引是否能提升检索性能。
• 探索通过多语言WordNet整合实现语言无关检索的可行性。
• 确定基于同义词集的索引是否能在真实世界检索任务中超越标准术语向量空间模型。

提出的方法

• 将经典向量空间模型改造为使用WordNet同义词集作为索引空间，而非单个词形。
• 通过WordNet同义词集对查询与文档进行人工消歧，构建源自Semcor语义协同比对的黄金标准测试集。
• 使用标准指标评估检索性能，将同义词集索引与基线词形索引（Smart运行）进行对比。
• 通过引入受控的消歧错误率（0%至60%）模拟WSD错误，评估同义词集索引的鲁棒性。
• 测试未消歧的查询，评估查询消歧对同义词集索引有效性的必要性。
• 在基于同义词集的向量空间中使用余弦相似度进行文档-查询匹配，未来可扩展使用语义距离度量。

实验结果

研究问题

• RQ1 在假设完全消歧的前提下，使用WordNet同义词集作为索引空间时，文本检索性能的潜在提升幅度是多少？
• RQ2 在文档索引过程中，自动词义消歧错误对检索性能的敏感程度如何？
• RQ3 当查询未被消歧时，同义词集索引能否优于标准词形索引？
• RQ4 通过多语言WordNet对齐，基于同义词集的索引是否能为跨语言信息检索提供可行路径？
• RQ5 在包含真实世界歧义的普通规模文本集合中，能否实现语义等价性与完整消歧的优势？

主要发现

• 在人工消歧的测试集中，使用WordNet同义词集索引使检索性能相比标准词形索引最高提升29%。
• 即使文档中的消歧错误率达到30%，同义词集索引仍优于词形索引，表明对中等错误率具有鲁棒性。
• 当消歧错误率达到30%-60%时，性能仍与标准词形索引相当或更优，表明其具有实际可行性。
• 当查询未被消歧时，同义词集索引的性能不优于标准词形索引，表明查询消歧对方法成功至关重要。
• 结果表明，若能可靠地对查询进行消歧，即使不消歧文档，基于同义词集的索引也能显著提升检索性能。
• 本研究证实，语义等价性与完整语义消歧是同义词集索引的关键优势，相比传统术语方法，能同时提升精确率与召回率。