[论文解读] AWS CORD-19 Search: A Neural Search Engine for COVID-19 Literature

Parminder Bhatia, Lan Liu+13 more|arXiv (Cornell University)|Jul 17, 2020

COVID-19 diagnosis using AI被引用 14

一句话总结

AWS CORD-19 Search (ACS) 是一个基于 AWS 服务（如 Amazon Kendra、Comprehend Medical 和 Neptune）构建的神经网络搜索引擎，可实现对 CORD-19 语料库的语义化、自然语言搜索。它通过利用深度语义理解、命名实体识别和主题建模技术，在文档排序和问答任务中优于其他系统，为 COVID-19 研究人员提供高质量、上下文相关的检索结果。

ABSTRACT

Coronavirus disease (COVID-19) has been declared as a pandemic by WHO with thousands of cases being reported each day. Numerous scientific articles are being published on the disease raising the need for a service which can organize, and query them in a reliable fashion. To support this cause we present AWS CORD-19 Search (ACS), a public, COVID-19 specific, neural search engine that is powered by several machine learning systems to support natural language based searches. ACS with capabilities such as document ranking, passage ranking, question answering and topic classification provides a scalable solution to COVID-19 researchers and policy makers in their search and discovery for answers to high priority scientific questions. We present a quantitative evaluation and qualitative analysis of the system against other leading COVID-19 search platforms. ACS is top performing across these systems yielding quality results which we detail with relevant examples in this work.

研究动机与目标

• 为应对在出版物激增的背景下，快速检索与 COVID-19 相关的高质量科学文献的挑战。
• 使研究人员和政策制定者能够使用自然语言查询生物医学知识，捕捉超越关键词匹配的语义意图。
• 构建一个可扩展、可投入生产的搜索系统，支持文档排序、段落检索、问答和主题过滤。
• 评估并展示其在 CORD-19 数据集上相较于现有公共搜索平台的卓越性能。
• 为未来改进（如反馈循环、问题整理和自动摘要）奠定基础。

提出的方法

• 该系统使用 Amazon Kendra 作为核心神经网络搜索引擎，基于基于 Transformer 的嵌入向量执行基于语义的文档和段落排序。
• 采用 Comprehend Medical NER 识别并突出显示检索段落中的关键生物医学实体，如药物、疾病和蛋白质。
• 应用主题建模技术，按领域特定主题（如“临床治疗”或“免疫学”）对结果进行分类和过滤，以提高相关性。
• 构建知识图谱以连接文档之间的实体和概念，增强语义理解与关系发现能力。
• 该流水线摄入完整的 CORD-19 数据集，使用 NLP 模型进行处理，并将其索引化，以实现低延迟、高精度的检索。
• 通过一个公开的 Web 界面展示结果，支持查询高亮、主题过滤和排序后的响应段落等功能。

实验结果

研究问题

• RQ1 具备语义理解能力的神经网络搜索引擎在检索与 COVID-19 相关的文献方面，相较于基于关键词的系统表现如何？
• RQ2 命名实体识别和主题建模在多大程度上能提升生物医学文献检索结果的精确度和相关性？
• RQ3 统一的搜索系统能否有效支持多种查询类型，包括问答匹配、FAQ 匹配和文档排序？
• RQ4 该系统如何处理查询中的语义变体，例如将 'medications'（药物）替换为 'measures'（措施）？
• RQ5 在缺乏显式反馈和整理机制的情况下，当前检索系统的局限性是什么？

主要发现

• 通过定量评估和定性分析验证，ACS 在文档排序和问答任务中优于其他领先的公共搜索平台。
• 即使查询中不包含确切的术语匹配，系统仍能成功检索到相关段落，展现出强大的语义理解能力。
• 主题过滤显著提升了结果的相关性，例如在选择 'clinical treatment'（临床治疗）后，结果可从一般政策讨论精准转向临床治疗细节。
• Comprehend Medical NER 能够正确识别并突出显示关键生物医学实体（如 'ribavirin' 和 'corticosteroids'），即使查询中未明确提及 'medication'（药物）一词。
• 系统对语义变化的理解能力（例如 'medications' 与 'measures' 的转换）可生成上下文恰当且准确的响应段落。
• 尽管性能出色，ACS 目前缺乏反馈循环和问题整理系统，凸显了未来改进的潜在机会。