[论文解读] Fast End-to-End Wikification

Ilya Shnayderman, Liat Ein‐Dor+8 more|arXiv (Cornell University)|Aug 19, 2019

Natural Language Processing Techniques参考文献 20被引用 12

一句话总结

本文提出 RedW，一种快速、运行时优化的端到端维基化系统，利用维基百科重定向实现大规模高精度实体链接。通过基于重定向的匹配和一种新颖的置信度评分方法（SR_norm），RedW 实现了对大规模语料的高效处理——其运行时间比 TagMe 快 10 倍，同时允许对低置信度结果有针对性地应用更重的处理方法，以极小的开销显著提升精度。

ABSTRACT

Wikification of large corpora is beneficial for various NLP applications. Existing methods focus on quality performance rather than run-time, and are therefore non-feasible for large data. Here, we introduce RedW, a run-time oriented Wikification solution, based on Wikipedia redirects, that can Wikify massive corpora with competitive performance. We further propose an efficient method for estimating RedW confidence, opening the door for applying more demanding methods only on top of RedW lower-confidence results. Our experimental results support the validity of the proposed approach.

研究动机与目标

• 解决大规模 NLP 语料中缺乏可扩展、实时维基化解决方案的问题。
• 开发一种上下文无关、运行时优化的实体链接系统，同时保持具有竞争力的精度。
• 实现高效的置信度估计，以识别适合使用更重方法重新处理的低置信度预测结果。
• 证明将快速基础维基化与选择性重新处理相结合，可显著提升整体精度。

提出的方法

• RedW 使用预先构建的维基百科标题与重定向页面映射表（spotMap），匹配文本中的 n-gram，优先选择更长的匹配并避免重叠。
• 在实体链接阶段，RedW 通过重定向解析将匹配项映射到维基百科页面，排除消歧义页面以减少噪声。
• 该系统引入 SR_norm，一种基于概念频率和链接统计的归一化置信度评分，用于衡量预测结果的可靠性。
• RedW+ 在 RedW 的基础上引入了消歧义页面，提升了召回率但略微降低了精度，从而支持对特定结果进行有针对性的重新处理。
• 置信度评分 SR_norm 用于优先选择低置信度提及进行重新处理，采用更精确、上下文感知的方法。
• 该方法支持通过平均实现文档级评分，识别出适合全局消歧义处理的高价值文档。

实验结果

研究问题

• RQ1 无上下文依赖的维基化系统能否在比现有方法快几个数量级的同时，仍保持具有竞争力的精度？
• RQ2 基于维基百科重定向统计的置信度评分机制，在识别低置信度预测方面有多有效？
• RQ3 仅对由置信度评分选出的预测子集应用更重的、上下文感知的方法，能在多大程度上提升精度？
• RQ4 轻量级基于重定向的系统能否作为混合维基化流水线的可扩展基础？

主要发现

• RedW 在除 Aquaint* 外的所有数据集上均取得最高 F1 分数，IITB 数据集上 F1 为 0.82，Wiki 数据集上为 0.85，优于 TagMe、WAT 和 AIDA。
• 与 TagMe 相比，RedW 将运行时间减少 10 倍以上：处理 600GB 语料仅需 41 小时，而 TagMe 需要 22 天。
• SR_norm 在检测 RedW+ 中错误方面优于所有基线方法，在 Trans-test 数据集上实现了最佳的精确率-召回率权衡。
• 使用 SR_norm 选择子集进行重新处理，相比随机选择，精度提升超过 10%，且在更小的子集中提升幅度更大。
• 置信度评分 SR_norm 有效支持了对下游重新处理的文档和提及的优先排序，突出了高影响力的目标。
• 与 RedW 相比，RedW+ 在所有数据集上召回率提升 2–5%，证明在结合置信度筛选时，包含消歧义页面具有显著价值。