[论文解读] Fast and accurate annotation of short texts with Wikipedia pages

Paolo Ferragina, Ugo Scaiella|arXiv (Cornell University)|Jun 17, 2010

Topic Modeling参考文献 21被引用 10

一句话总结

本文提出 Tagme，一种快速且准确的系统，可对短文本（如推文、新闻摘要和搜索结果）进行实时标注，将其与维基百科页面关联。通过利用一种新颖的评分函数，该函数基于反向链接重叠和高效的基于窗口的处理方式，解决同义与多义问题，Tagme 在短文本上的性能达到当前最先进水平，其速度（每个锚点1.7ms）和准确性均优于以往系统，且在长文本上实现线性扩展。

ABSTRACT

We address the problem of cross-referencing text fragments with Wikipedia pages, in a way that synonymy and polysemy issues are resolved accurately and efficiently. We take inspiration from a recent flow of work [Cucerzan 2007, Mihalcea and Csomai 2007, Milne and Witten 2008, Chakrabarti et al 2009], and extend their scenario from the annotation of long documents to the annotation of short texts, such as snippets of search-engine results, tweets, news, blogs, etc.. These short and poorly composed texts pose new challenges in terms of efficiency and effectiveness of the annotation process, that we address by designing and engineering TAGME, the first system that performs an accurate and on-the-fly annotation of these short textual fragments. A large set of experiments shows that TAGME outperforms state-of-the-art algorithms when they are adapted to work on short texts and it results fast and competitive on long texts.

研究动机与目标

• 解决准确且高效地将短文本（如推文、搜索摘要和新闻条目）标注为维基百科页面的挑战。
• 克服现有系统在短输入上性能低下或计算成本过高的局限，这些系统原本针对长文本优化。
• 设计一种无需预处理即可实时进行标注的系统，适用于搜索引擎和社交媒体平台等实时应用场景。
• 在短文本上下文有限、统计信号微弱的情况下，实现高精确率和高召回率的实体链接。
• 确保在高吞吐量生产环境中部署时具备可扩展性和低内存占用。

提出的方法

• 将维基百科的锚文本作为待标注的候选跨度（位置），其对应的维基百科页面作为潜在的语义解释。
• 将标注任务建模为全局优化问题，通过结合反向链接重叠和统计特征的连贯性得分来最大化。
• 提出一种基于维基百科页面间反向链接重叠的快速近似评分函数，以高效解决多义与同义问题。
• 在长文本上应用滑动窗口机制（窗口大小 w ≈ 10），实现分数的增量计算，将时间复杂度降低至 O(L × w × s²)，并实现与锚点数量的线性扩展。
• 采用两阶段流水线：(1) 锚点解析，用于提取候选跨度；(2) 使用评分函数进行消歧与剪枝。
• 通过避免使用大型内存缓存，实现低内存占用（200MB）和高处理速度，与 Milne & Witten 的系统等先前方法形成对比。

实验结果

研究问题

• RQ1 当传统统计信号因上下文有限而微弱时，系统能否在短文本上实现高精确率和高召回率的维基百科页面标注？
• RQ2 在多个维基百科页面可能对应同一锚点的短文本中，如何高效解决多义与同义问题？
• RQ3 实时标注的时间复杂度是多少？能否使长文本中与锚点数量呈线性关系？
• RQ4 与 [10] 和 [14] 等最先进系统相比，该系统在短文本和长文本上的性能如何？
• RQ5 该系统能否在低内存和低延迟的实时环境中（如搜索引擎或社交媒体平台）成功部署？

主要发现

• 在短文本上，Tagme 的 F1 值优于以往系统，其准确性和速度均超过 [10] 和 [14]。
• 在包含约 10 个锚点的短文本上，Tagme 每篇文本处理时间约为 18ms，每个锚点耗时 1.7ms，比 [14] 报告的每篇 95ms 快一个多数量级。
• 在长文本上，Tagme 的时间复杂度与锚点数量呈线性关系（O(L × w × s²)），而 [10] 的复杂度仅呈轻微的二次方增长，表明 Tagme 具有显著更高的可扩展性。
• Tagme 仅需 200MB 内存，而 [14] 的缓存版本需 1.4GB，且在批量处理中避免了堆溢出问题。
• 系统在多样化数据集（包括 iitb 数据集的手动标注新闻）上保持了高精确率和高召回率，证实其在真实场景中的鲁棒性。
• 用户研究及在大规模维基百科数据集上的表现表明，Tagme 的性能在真实应用中具有良好的泛化能力，而不仅限于合成基准测试。