[论文解读] Exploring the In-context Learning Ability of Large Language Model for Biomedical Concept Linking

Qinyong Wang, Zhenxiang Gao+1 more|arXiv (Cornell University)|Jul 3, 2023

Topic Modeling被引用 4

一句话总结

该论文提出了一种两阶段少样本学习（ICL）框架，用于生物医学概念链接，采用密集检索结合大语言模型（LLM）重排序的方法，在无需微调或标注数据的情况下，实现了疾病归一化90.1%的准确率和化学物归一化94.7%的准确率，性能与监督方法相当。

ABSTRACT

The biomedical field relies heavily on concept linking in various areas such as literature mining, graph alignment, information retrieval, question-answering, data, and knowledge integration. Although large language models (LLMs) have made significant strides in many natural language processing tasks, their effectiveness in biomedical concept mapping is yet to be fully explored. This research investigates a method that exploits the in-context learning (ICL) capabilities of large models for biomedical concept linking. The proposed approach adopts a two-stage retrieve-and-rank framework. Initially, biomedical concepts are embedded using language models, and then embedding similarity is utilized to retrieve the top candidates. These candidates' contextual information is subsequently incorporated into the prompt and processed by a large language model to re-rank the concepts. This approach achieved an accuracy of 90.% in BC5CDR disease entity normalization and 94.7% in chemical entity normalization, exhibiting a competitive performance relative to supervised learning methods. Further, it showed a significant improvement, with an over 20-point absolute increase in F1 score on an oncology matching dataset. Extensive qualitative assessments were conducted, and the benefits and potential shortcomings of using large language models within the biomedical domain were discussed. were discussed.

研究动机与目标

• 解决监督方法在生物医学概念链接中的局限性，如标注成本高、数据过期以及跨任务泛化能力差的问题。
• 探究大语言模型（LLMs）中的少样本学习（ICL）是否能够实现零样本、可适应的生物医学概念链接，而无需针对特定任务进行微调。
• 开发一种通用且稳健的概念链接框架，以应对歧义、罕见疾病以及异构数据源的挑战。
• 评估大语言模型在生物医学链接任务中的可解释性与推理质量，特别是针对复杂或罕见疾病亚型的情况。
• 评估基于大语言模型的链接在真实世界生物医学数据集中的可行性与性能，涵盖闭源模型（如GPT-4）与开源模型（如Llama）两种情况。

提出的方法

• 采用两阶段框架：首先利用语言模型生成的密集向量嵌入检索候选生物医学概念。
• 通过计算嵌入相似度，为每个文本提及识别出前k个候选概念。
• 通过将每个候选概念的上下文与原始提及一并整合到LLM输入中，构建少样本学习提示。
• 利用LLM（如GPT-4或Llama）基于上下文相关性与语义一致性对候选概念进行重排序。
• 利用LLM的少样本学习能力实现零样本推理，无需模型微调。
• 引入外部知识（如概念描述、缩写词典）以提升对罕见或歧义实体的性能。

Figure 1: Overview of the proposed methodology and comparison with previous methods.

实验结果

研究问题

• RQ1 大语言模型中的少样本学习是否能有效实现生物医学概念链接，而无需任何微调或标注数据？
• RQ2 GPT-4和Llama等大语言模型在疾病与化学实体归一化任务中的性能与监督方法相比如何？
• RQ3 大语言模型在概念链接中的推理过程在多大程度上反映了准确、上下文感知的逻辑，而非表面的关键词匹配？
• RQ4 基于大语言模型的概念链接的主要失败模式是什么，特别是在罕见疾病或歧义缩写方面？
• RQ5 引入外部知识（如描述、缩写列表）在多大程度上提升了基于大语言模型链接的鲁棒性与准确性？

主要发现

• 所提出的基于ICL的框架在BC5CDR疾病实体归一化任务中达到90.1%的F1值，在化学实体归一化任务中达到94.7%的F1值，优于基线零样本方法，并接近监督基线模型的表现。
• 在肿瘤学匹配数据集中，该方法相比基线方法F1值绝对提升超过20个百分点，展现出强大的泛化能力与鲁棒性。
• GPT-4在推理与准确性方面表现更优，尤其在罕见疾病亚型与复杂概念描述方面；而Llama 13B在准确率与逻辑一致性方面均表现欠佳。
• GPT-4的推理过程通常与提供的上下文和描述保持一致，提升了可解释性；而Llama有时虽预测正确，但推理过程存在错误。
• 当多个概念共享同一名称，或缩写存在歧义时，框架出现失败案例，表明需进一步整合外部知识。
• 使用GPT-4进行推理成本较高（3,700对样本耗资150美元），即使本地部署的LLM如Llama 13B也存在速度瓶颈（103 ms/token），凸显了在广泛采用中面临可扩展性与硬件限制的挑战。

Figure 2: Workflow of the proposed methodology for exploring the in-context learning ability of large language models for biomedical concept linking.