[论文解读] Answering Questions on COVID-19 in Real-Time

Jinhyuk Lee, Sean S. Yi+6 more|arXiv (Cornell University)|Jun 29, 2020

Topic Modeling参考文献 28被引用 7

一句话总结

本文提出 covidAsk，一个用于新冠肺炎的实时问答系统，结合生物医学文本挖掘与问答技术，从科学文献中提供准确的、基于词段的答案。通过整合基于 BioBERT 的命名实体链接与实体搜索引擎，系统提升了答案的可靠性与可用性，在新整理的新冠肺炎问题数据集上实现了出色的零样本性能，该数据集与源代码一同公开发布。

ABSTRACT

The recent outbreak of the novel coronavirus is wreaking havoc on the world and researchers are struggling to effectively combat it. One reason why the fight is difficult is due to the lack of information and knowledge. In this work, we outline our effort to contribute to shrinking this knowledge vacuum by creating covidAsk, a question answering (QA) system that combines biomedical text mining and QA techniques to provide answers to questions in real-time. Our system also leverages information retrieval (IR) approaches to provide entity-level answers that are complementary to QA models. Evaluation of covidAsk is carried out by using a manually created dataset called COVID-19 Questions which is based on information from various sources, including the CDC and the WHO. We hope our system will be able to aid researchers in their search for knowledge and information not only for COVID-19, but for future pandemics as well.

研究动机与目标

• 通过实现实时、准确的问答，弥合新冠肺炎研究中的关键知识空白。
• 通过将生物医学命名实体链接（NEL）与问答模型结合，提升答案的可靠性。
• 开发并公开发布一个高质量、人工整理的新冠肺炎问题数据集，用于评估。
• 构建一个可扩展、可复用的系统，以支持未来的疫情应对工作。
• 评估现有问答模型在新兴的新冠肺炎文献领域中的零样本迁移能力。

提出的方法

• 系统采用混合流水线，结合检索、问答与生物医学自然语言处理组件。
• 采用基于 BioBERT 的模型提取并规范化生物医学命名实体（如疾病、药物），并将其链接到标准化标识符（如 MeSH CUI）。
• 通过生物医学实体搜索引擎增强稳定性，为实体级别查询检索相关实体。
• 使用微调后的实时问答模型（Seo et al., 2019）提取答案词段，该模型在 SQuAD 和 Natural Questions 上预训练。
• 系统支持疑问句与关键词查询，从相关文档中返回连续的答案词段。
• 评估基于人工创建的数据集 COVID-19 Questions，其源自权威机构（如 CDC 和 WHO）的资料。

实验结果

研究问题

• RQ1 在通用领域数据集上训练的零样本问答系统，能否有效回答关于新冠肺炎的复杂、特定领域问题？
• RQ2 在生物医学领域中，整合生物医学命名实体链接如何提升问答输出的准确率与可用性？
• RQ3 现有问答模型在多大程度上能泛化到如疫情应对等快速演变的科学新兴领域？
• RQ4 混合问答-信息检索系统是否能优于独立的问答或信息检索模型，以检索精确且上下文相关的答案？
• RQ5 在稳定与丰富答案生成方面，生物医学实体搜索引擎的集成效果如何？

主要发现

• covidAsk 在未针对领域特定数据进行微调的情况下，于 COVID-19 Questions 数据集上实现了出色的零样本性能。
• 基于 BioBERT 的命名实体链接集成显著提升了答案的可解释性与可追溯性，通过将实体链接至标准化的 CUI。
• 系统能有效处理自然语言问题与关键词查询，展现出对不同输入格式的鲁棒性。
• 人工整理的 COVID-19 Questions 数据集包含多样化、基于事实的问题，源自权威来源，支持可靠评估。
• 源代码与数据集已公开发布，支持可复现性，并可扩展至其他生物医学领域。
• 定性分析表明，模型生成的答案具有上下文相关性，短语级预测被突出显示，且实体被正确链接。