[论文解读] Denmark's Participation in the Search Engine TREC COVID-19 Challenge: Lessons Learned about Searching for Precise Biomedical Scientific Information on COVID-19

Lucas Chaves Lima, Casper Worm Hansen+6 more|arXiv (Cornell University)|Nov 25, 2020

Topic Modeling参考文献 34被引用 4

一句话总结

本文详细介绍了丹麦在2020年TREC-COVID挑战赛中的参与情况，评估了使用CORD-19数据集检索精确COVID-19生物医学信息的检索策略。研究发现，标准BM25检索优于先进的基于BERT的嵌入方法，且文献来源（如PMC、Elsevier）是相关性的强预测因子，由于训练数据不足，深度学习带来的增益有限。

ABSTRACT

This report describes the participation of two Danish universities, University of Copenhagen and Aalborg University, in the international search engine competition on COVID-19 (the 2020 TREC-COVID Challenge) organised by the U.S. National Institute of Standards and Technology (NIST) and its Text Retrieval Conference (TREC) division. The aim of the competition was to find the best search engine strategy for retrieving precise biomedical scientific information on COVID-19 from the largest, at that point in time, dataset of curated scientific literature on COVID-19 -- the COVID-19 Open Research Dataset (CORD-19). CORD-19 was the result of a call to action to the tech community by the U.S. White House in March 2020, and was shortly thereafter posted on Kaggle as an AI competition by the Allen Institute for AI, the Chan Zuckerberg Initiative, Georgetown University's Center for Security and Emerging Technology, Microsoft, and the National Library of Medicine at the US National Institutes of Health. CORD-19 contained over 200,000 scholarly articles (of which more than 100,000 were with full text) about COVID-19, SARS-CoV-2, and related coronaviruses, gathered from curated biomedical sources. The TREC-COVID challenge asked for the best way to (a) retrieve accurate and precise scientific information, in response to some queries formulated by biomedical experts, and (b) rank this information decreasingly by its relevance to the query. In this document, we describe the TREC-COVID competition setup, our participation to it, and our resulting reflections and lessons learned about the state-of-art technology when faced with the acute task of retrieving precise scientific information from a rapidly growing corpus of literature, in response to highly specialised queries, in the middle of a pandemic.

研究动机与目标

• 评估并比较在全球大流行期间针对精确COVID-19生物医学信息的检索策略。
• 评估标准检索方法、最先进的语义嵌入方法以及元搜索启发式方法在无监督、动态信息检索环境下的有效性。
• 理解在标注数据有限的情况下，数据来源、嵌入模型和模型复杂度对检索性能的影响。
• 识别在危机场景下生物医学信息检索的实际局限性及未来研究方向。

提出的方法

• 在CORD-19数据集上使用Indri搜索引擎，采用默认参数（k₁=1.2，b=0.75）的Best Match 25（BM25）检索。
• 整合BioBERT和SciBERT嵌入以表示语义，但由于数据稀缺，未对它们进行微调。
• 应用元搜索启发式方法，结合多种检索策略的结果以提高排序精度。
• 使用trec_eval，基于不同的K值，采用NDCG@K、Precision@K、Brevity Penalty、RBP（p=0.5）和MAP进行评估。
• 利用NIST发布的专家评估结果对运行结果进行评估，评估结果在五轮比赛期间逐步发布。
• 分析不同数据来源的相关性分布，以识别文档相关性的强预测因子。

实验结果

研究问题

• RQ1 在标注数据有限的危机场景下，标准检索方法（如BM25）是否能在生物医学信息检索任务中实现具有竞争力的性能？
• RQ2 在本场景下，领域特定的BERT嵌入（如BioBERT）相较于传统的词频方法，能在多大程度上提升检索性能？
• RQ3 在生物医学信息检索中，文献来源（如PMC、medRxiv、Elsevier）作为相关性信号的重要性有多大？
• RQ4 当训练数据稀缺时，将先进机器学习模型应用于生物医学信息检索的实际局限性是什么？
• RQ5 在低数据环境下，通过自动生成的查询-文档对获得的弱监督能否提升检索性能？

主要发现

• 使用默认参数的标准BM25检索在本设置下表现稳定且令人满意，优于更复杂的模型。
• 尽管计算成本更高，BioBERT和SciBERT的语义嵌入并未显著提升性能，相较于基于词频的传统表示方法。
• 科学文献的来源是相关性的强预测因子：Elsevier、medRxiv和PMC贡献了大部分相关和部分相关的文档。
• 文献来源占所有相关及部分相关文档的73.9%，其中仅Elsevier就贡献了35.48%的相关文档。
• 数据集规模（最多200,000篇文档）和查询数量有限（最多50个）不足以有效训练高级机器学习模型，限制了泛化能力。
• 未对BERT模型进行微调，这可能抑制了性能；在MS-MARCO或类似数据集上进行微调的团队取得了更好的结果。