[论文解读] Boosting Question Answering by Deep Entity Recognition

Piotr Przybyła|arXiv (Cornell University)|May 27, 2016

Topic Modeling被引用 4

一句话总结

本文提出 RAFAEL，一个波兰语开放域事实型问答系统，通过引入深度实体识别（DeepER）方法提升答案准确率。DeepER 通过将实体链接到 WordNet 同义词集而非预定义类别，扩展了命名实体识别的范围。该方法能够识别传统命名实体类型之外的实体（如将 'arctic tern' 识别为鸟类），在不牺牲精确率的前提下显著提升召回率，该结论已通过问答竞赛题目的人工评估验证。

ABSTRACT

In this paper an open-domain factoid question answering system for Polish, RAFAEL, is presented. The system goes beyond finding an answering sentence; it also extracts a single string, corresponding to the required entity. Herein the focus is placed on different approaches to entity recognition, essential for retrieving information matching question constraints. Apart from traditional approach, including named entity recognition (NER) solutions, a novel technique, called Deep Entity Recognition (DeepER), is introduced and implemented. It allows a comprehensive search of all forms of entity references matching a given WordNet synset (e.g. an impressionist), based on a previously assembled entity library. It has been created by analysing the first sentences of encyclopaedia entries and disambiguation and redirect pages. DeepER also provides automatic evaluation, which makes possible numerous experiments, including over a thousand questions from a quiz TV show answered on the grounds of Polish Wikipedia. The final results of a manual evaluation on a separate question set show that the strength of DeepER approach lies in its ability to answer questions that demand answers beyond the traditional categories of named entities.

研究动机与目标

• 解决波兰语等形态丰富、资源匮乏语言在事实型问答系统中召回率低的挑战。
• 克服传统命名实体识别（NER）方法的局限性，后者将答案限制在人物、地点或组织等预定义类别中。
• 开发一种基于语义类别（WordNet 同义词集）而非刚性类型体系的实体识别方法，以检测如 'arctic tern' 或 'tsar' 等非标准 NER 类型的实体。
• 通过将相同的实体识别过程应用于预测答案与标准答案，实现候选答案的自动评估，减少对人工字符串匹配的依赖。
• 通过利用百科全书定义、消歧义页面和重定向页面构建全面的实体库，提升系统的鲁棒性与覆盖范围。

提出的方法

• 通过解析波兰语维基百科的定义、消歧义和重定向页面构建实体库，将每个实体链接至其对应的 WordNet 同义词集。
• 实现 DeepER 技术，将文本中的实体提及与对应的 WordNet 同义词集匹配，实现基于语义类别的实体识别，而非基于句法标签。
• 采用多阶段实体识别流水线，结合 DeepER 与传统 NER 工具（NERF、Liner2、Quant），以覆盖多样化的实体类型。
• 应用贪心模式匹配识别波兰语中的数字与数量，使用阿拉伯数字、小数与序数字段模式。
• 通过重新应用 DeepER 到预测答案与标准答案，比较其生成的同义词集而非原始字符串，实现候选答案的自动验证。
• 在来自波兰电视问答节目的问题上进行大量实验，先调整上下文长度与文档检索大小等参数，再进行最终的人工评估。

实验结果

研究问题

• RQ1 基于语义的实体识别方法（DeepER）是否能在资源匮乏语言中，超越传统命名实体识别，显著提升问答系统的召回率？
• RQ2 DeepER 在多大程度上提升了系统识别非传统命名实体类型（如动物或抽象类别）问题的能力？
• RQ3 通过 DeepER 实现的自动评估在多大程度上减少了人工工作量，同时保持可靠的答案比较准确率？
• RQ4 将 DeepER 集成到真实世界的开放域问答系统（如 RAFAEL）中，是否显著提升了精确率与召回率？
• RQ5 该系统在独立的、此前未使用过的测试集上表现如何？是否在未进行问题特定调优的情况下仍保持高准确率？

主要发现

• 与传统 NER 相比，DeepER 显著增加了可回答的问题数量，尤其在标准命名实体类别之外的实体（如 'arctic tern' 或 'Simeon II' 作为君主）上表现突出。
• 系统达到与基于 NER 的方法相当的精确率，表明更广泛的识别范围并未损害答案质量。
• 通过 DeepER 实现的自动评估可快速、可扩展地测试数千道问题，大幅减少人工评估的时间与工作量。
• 在独立测试集上的人工评估确认，基于 DeepER 的系统比基于 NER 的系统能更准确地回答更多问题，尤其在涉及语义或分类关系的问题上。
• 基于维基百科定义与重定向页面构建的实体库成功捕捉了实体的多样化文本形式，支持在屈折丰富的波兰语中实现稳健的提及检测。
• 通过基于 WordNet 的语义类型化整合，系统能够推断 'tsar' 暗示 'monarch'（君主），从而正确回答关于未被 NER 明确标记为 'person' 的历史人物的问题。