[论文解读] Searching Scientific Literature for Answers on COVID-19 Questions

Vincent Nguyen, Maciej Rybiński+2 more|arXiv (Cornell University)|Jul 6, 2020

Topic Modeling参考文献 13被引用 4

一句话总结

该论文提出了一种混合神经检索方法 NIR${}_{\text{avg}}$，通过结合密集神经嵌入与传统倒排索引，提升在新冠状病毒相关科学文献中针对新冠状病毒问题的检索效果。利用 BioBERT-NLI 嵌入在文档各部分上进行池化处理，该方法实现了具有竞争力的性能——在 TREC COVID 挑战赛中位列自动检索系统前茅，证明了神经索引能够增强语义检索能力，同时缓解仅使用 BM25 时固有的关键词过拟合问题。

ABSTRACT

Finding answers related to a pandemic of a novel disease raises new challenges for information seeking and retrieval, as the new information becomes available gradually. TREC COVID search track aims to assist in creating search tools to aid scientists, clinicians, policy makers and others with similar information needs in finding reliable answers from the scientific literature. We experiment with different ranking algorithms as part of our participation in this challenge. We propose a novel method for neural retrieval, and demonstrate its effectiveness on the TREC COVID search.

研究动机与目标

• 为解决在新兴疾病（如新冠状病毒）背景下检索相关科学文献的挑战，此类信息快速增长，传统基于关键词的方法可能遗漏语义相关的文档。
• 提升针对 SARS-CoV-2 及相关冠状病毒的复杂、临床及研究导向型问题的答案检索效果。
• 开发一种计算成本较低的神经排序系统，避免在大规模文档集合上进行端到端神经检索所带来的高昂计算开销。
• 在 TREC COVID 检索挑战赛框架下，评估基于 BioBERT-NLI 的句子嵌入在 CORD-19 数据集上进行神经索引的有效性。

提出的方法

• 通过将倒排索引（用于 BM25 评分）与神经索引（用于语义检索）相结合，构建混合索引，使用 BioBERT-NLI 模型的 [CLS] token 嵌入进行池化处理。
• 利用 ScispaCy 将文档各部分（标题、摘要、全文）分割为句子，然后通过 BioBERT-NLI 模型计算句子级别嵌入。
• 通过平均池化将句子级别嵌入聚合为字段级别表示，并与传统倒排索引结构一同索引到 Elasticsearch 中。
• 采用加权评分函数，结合 BM25 评分与神经嵌入的余弦相似度，对文档进行排序。
• 使用单张 V100 GPU，通过 bert-as-service 进行推理，Elasticsearch 进行索引，每小时可索引 2100 篇文档，完成 CORD-19 文档集合的处理。
• 采用混合检索策略，由神经模型对倒排索引的结果进行重排序或补充，降低对词法匹配的依赖。

实验结果

研究问题

• RQ1 基于预训练生物医学句子嵌入的神经检索模型是否能在复杂新冠状病毒问题的科学文献检索中超越传统的 BM25？
• RQ2 将神经嵌入与倒排索引结合，相较于单独使用任一方法，能否显著提升检索效果？
• RQ3 神经模型在多大程度上缓解了基于关键词匹配的局限性，例如对无语义相关性的查询词过度拟合的问题？
• RQ4 在科学文献神经索引的背景下，不同预训练模型（如 BioBERT-NLI、ClinicalCovid-NLI、SciBERT-NLI）的性能表现如何比较？
• RQ5 池化策略的选择（如 [CLS] 与平均池化）在神经文档表示的检索有效性中起到何种作用？

主要发现

• 所提出的 NIR${}_{\text{avg}}$ 模型在第一轮中取得 NDCG@10 得分为 0.608，在第二轮中为 0.625，位列 TREC COVID 挑战赛自动检索系统前列。
• 仅使用神经组件（不依赖 BM25）时，P@5 达到 0.700，NDCG@10 达到 0.624，优于仅使用 BM25 的结果（P@5: 0.307，NDCG@10: 0.277），表明其具备强大的语义检索能力。
• 在相关性计算中移除余弦相似度评分后，NDCG@10 得分提升，表明当检索到未标注文档时，神经模型的得分可能与 BM25 结合后产生偏差。
• 在主题 24 和 25 上，该模型优于最佳自动运行系统，而基于 BM25 的系统因关键词重叠偏差而表现不佳，证明了语义匹配相比词法匹配的优势。
• ClinicalCovid-NLI 模型在第二轮中取得最高 NDCG@10 得分（0.650），表明针对临床新冠状病毒查询微调的模型能显著提升神经检索性能。
• 消融研究显示，全文嵌入对性能贡献最大（P@5: 0.733，NDCG@10: 0.644），其次为标题（P@5: 0.700，NDCG@10: 0.592），而摘要贡献最小（P@5: 0.180，NDCG@10: 0.123）。