[论文解读] Automatic Textual Evidence Mining in COVID-19 Literature

Xuan Wang, Weili Liu+3 more|arXiv (Cornell University)|Apr 27, 2020

Topic Modeling参考文献 8被引用 17

一句话总结

本文提出 EvidenceMiner，一个基于网络的生物医学文献自动文本证据挖掘系统，特别应用于 COVID-19 的 CORD-19 语料库。该系统采用远程监督命名实体识别与开放信息抽取技术，预先索引实体和元模式，通过结合词、实体和模式得分的加权排序模型，实现基于查询的快速句级证据检索——在 top-10 范围内达到 0.889 的当前最优 nDCG 得分。

ABSTRACT

We created this EVIDENCEMINER system for automatic textual evidence mining in COVID-19 literature. EVIDENCEMINER is a web-based system that lets users query a natural language statement and automatically retrieves textual evidence from a background corpora for life sciences. It is constructed in a completely automated way without any human effort for training data annotation. EVIDENCEMINER is supported by novel data-driven methods for distantly supervised named entity recognition and open information extraction. The named entities and meta-patterns are pre-computed and indexed offline to support fast online evidence retrieval. The annotation results are also highlighted in the original document for better visualization. EVIDENCEMINER also includes analytic functionalities such as the most frequent entity and relation summarization.

研究动机与目标

• 为解决现有系统无法直接从生物医学文献中检索特定文本证据陈述（而仅限于文档级检索）的问题。
• 使研究人员能够查询自然语言陈述，并从大规模生物医学语料库（如 CORD-19）中检索支持的句级证据。
• 开发一个完全自动化的系统，无需人工标注训练数据，从而减轻标注负担。
• 支持灵活的查询，包括关系模式，以辅助假设生成与验证。
• 提供可视化与分析支持，如实体与关系汇总，以促进证据的解读。

提出的方法

• 利用 CORD-NER 在 CORD-19 语料库上实现远程监督命名实体识别，借助外部知识库提供远程监督。
• 通过开放信息抽取从句子中提取元模式（例如，CHEMICAL 抑制 DISEASE），并按同义性进行分组。
• 构建三个离线索引：基于词的索引、基于实体的索引和基于模式的索引，每个索引将键映射到句子标识符，以实现快速查找。
• 采用加权置信度分数对证据进行排序：结合 BM25 的词级相关性、实体共现和元模式匹配。
• 使用 BM25 作为词得分：$ S_w(Q,S) = \sum_{i=1}^{n} IDF(w_i) \cdot \frac{f(w_i,S) \cdot (k+1)}{f(w_i,S) + k \cdot (1-b + b \cdot \frac{|S|}{avgsl})} $，其中 IDF 计算为 $ \log \frac{N - n(w_i) + 0.5}{n(w_i) + 0.5} $。
• 在原始文档中高亮检索到的证据，并支持频率汇总等分析功能，如实体与关系的频率统计。

实验结果

研究问题

• RQ1 一个完全自动化的系统是否能够无需人工标注训练数据，从生物医学文献中检索句级文本证据？
• RQ2 与传统基于关键词的方法相比，命名实体与元模式的整合在多大程度上提升了证据检索的准确性？
• RQ3 该系统是否能够支持涉及关系模式（如“X 导致 Y”）的灵活自然语言查询，以辅助假设生成？
• RQ4 在检索争议性或两极分化话题（如口罩在 COVID-19 传播中的有效性）的证据时，系统表现如何？
• RQ5 该系统是否能够识别并呈现某一主张的正反两方证据，从而支持平衡的科学探究？

主要发现

• EvidenceMiner 在 top-10 范围内取得了最高的 nDCG 得分 0.889，显著优于 BM25（0.746）和 LitSense（0.658），证明了其多级索引与排序策略的有效性。
• 系统成功检索到支持紫外线-C（UV-C）辐射作为 SARS-CoV-2 灭活替代方法的证据，包括一句提及经紫外线灭活的病毒可作为疫苗候选的句子。
• 对于如 'CORONAVIRUS 导致 DISEASEORSYNDROME' 等查询，系统检索到高质量且相关的句子，例如：'HCoV-OC43、HCoV-229E、HCoV-HKU1 和 HCoV-NL63 会导致轻微、自限性的上呼吸道感染'。
• 系统为瑞德西韦和阿莫地喹作为 COVID-19 潜在治疗药物的相关临床试验句子检索到多条证据，支持药物重定位研究。
• EvidenceMiner 成功检索到关于口罩有效性支持与反对的陈述，展示了其在争议性话题中揭示对立证据的能力。
• 系统能够高亮原始文档中的证据，并汇总频繁出现的实体与关系，显著提升了结果的可解释性与研究人员的使用体验。