[论文解读] MedCPT: Contrastive Pre-trained Transformers with Large-scale PubMed Search Logs for Zero-shot Biomedical Information Retrieval
MedCPT 引入了一种对比预训练的 Transformer 模型，在 255 million PubMed 点击日志上进行训练，以实现零样本语义生物医学信息检索，在六项任务上取得了最先进的结果。
Information retrieval (IR) is essential in biomedical knowledge acquisition and clinical decision support. While recent progress has shown that language model encoders perform better semantic retrieval, training such models requires abundant query-article annotations that are difficult to obtain in biomedicine. As a result, most biomedical IR systems only conduct lexical matching. In response, we introduce MedCPT, a first-of-its-kind Contrastively Pre-trained Transformer model for zero-shot semantic IR in biomedicine. To train MedCPT, we collected an unprecedented scale of 255 million user click logs from PubMed. With such data, we use contrastive learning to train a pair of closely-integrated retriever and re-ranker. Experimental results show that MedCPT sets new state-of-the-art performance on six biomedical IR tasks, outperforming various baselines including much larger models such as GPT-3-sized cpt-text-XL. In addition, MedCPT also generates better biomedical article and sentence representations for semantic evaluations. As such, MedCPT can be readily applied to various real-world biomedical IR tasks.
研究动机与目标
- 在没有大量查询-文章注释的情况下，推动零样本语义生物医学信息检索。
- 利用大规模 PubMed 用户点击日志来训练对比检索框架。
- 开发一个紧密集成的检索器和重排名器，以改进生物医学中的语义检索。
- 在多项生物医学信息检索任务中，证明优于基线和更大规模模型的性能。
提出的方法
- 训练一个对比性的双组件模型，由检索器和重排名器组成。
- 使用 255 million PubMed 用户点击日志来监督对比学习。
- 通过对比损失进行优化，以对齐查询与文章表示。
- 在文章级和句子级语义任务上评估表示。
- 与包括 GPT-3 规模的 CPT-text-XL 在内的大型模型进行基线比较。
实验结果
研究问题
- RQ1是否可以通过对大规模 PubMed 搜索日志的对比性预训练实现零样本生物医学信息检索？
- RQ2用点击数据训练的检索器-重排名器架构是否在生物医学信息检索任务中优于基于词汇的基线和更大模型？
- RQ3所学习的表示是否在生物医学领域的文章级和句子级语义检索中有所提升？
主要发现
- MedCPT 在六项生物医学IR任务上设定了新的最先进性能。
- MedCPT 超越包括GPT-3 规模的 CPT-text-XL 在内的各类基线。
- MedCPT 提供更好的生物医学文章和句子表示，用于语义评估。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。