[论文解读] Graph-Based Retriever Captures the Long Tail of Biomedical Knowledge

Julien Delile, S. Mukherjee+2 more|arXiv (Cornell University)|Feb 19, 2024

Biomedical Text Mining and Ontologies被引用 5

一句话总结

本论文提出基于知识图谱的检索（KG IR）方法用于生物医学中的检索增强生成，显示它比基于嵌入的检索在捕获长尾知识方面更好，并且在混合模型中与嵌入结合效果良好。

ABSTRACT

Large language models (LLMs) are transforming the way information is retrieved with vast amounts of knowledge being summarized and presented via natural language conversations. Yet, LLMs are prone to highlight the most frequently seen pieces of information from the training set and to neglect the rare ones. In the field of biomedical research, latest discoveries are key to academic and industrial actors and are obscured by the abundance of an ever-increasing literature corpus (the information overload problem). Surfacing new associations between biomedical entities, e.g., drugs, genes, diseases, with LLMs becomes a challenge of capturing the long-tail knowledge of the biomedical scientific production. To overcome this challenge, Retrieval Augmented Generation (RAG) has been proposed to alleviate some of the shortcomings of LLMs by augmenting the prompts with context retrieved from external datasets. RAG methods typically select the context via maximum similarity search over text embeddings. In this study, we show that RAG methods leave out a significant proportion of relevant information due to clusters of over-represented concepts in the biomedical literature. We introduce a novel information-retrieval method that leverages a knowledge graph to downsample these clusters and mitigate the information overload problem. Its retrieval performance is about twice better than embedding similarity alternatives on both precision and recall. Finally, we demonstrate that both embedding similarity and knowledge graph retrieval methods can be advantageously combined into a hybrid model that outperforms both, enabling potential improvements to biomedical question-answering models.

研究动机与目标

• 阐明生物医学文献的信息过载问题，以及在生物医学问答/问答系统中揭示长尾知识的必要性。
• 引入一种基于图的检索方法，使用生物医学知识图谱对检索到的片段进行再平衡。
• 证明KG IR在性能上优于嵌入相似度IR，并且混合KG+嵌入的方法能获得更优结果。
• 展示如何通过新近性和影响力在KG路径上对文本片段进行优先级排序，从而揭示最近且有影响的发现。

提出的方法

• 开发两种检索策略：嵌入相似性IR（ES IR），使用句子嵌入和 PubMed 句子的余弦相似性（text-embedding-ada-002）。
• 通过对PubMed 摘要进行NER/RE处理来构建生物医学知识图谱（KG）（NER 使用 KAZU + TinyBERN2；RE 使用在 BioRED 上微调的 PubMedBERT）。
• 通过实体标注和关系将文本片段映射到KG的节点/边；使用问题实体之间的最短路径来选择相关片段。
• 使用关于新近性（出版年份）和影响力（引用次数）的Pareto前沿排序来对检索片段进行优先排序。
• 通过对ES IR和KG IR的重新缩放分数取平均来评估混合IR（Hybrid IR），以结合两者的优势。
• 在八种疾病上利用 precision@K 和 recall@K 对检索性能进行比较，基准是专家注释的金标准集合。

实验结果

研究问题

• RQ1 KG-based IR 是否能检索出嵌入式IR所错过的独特长尾生物医学知识？
• RQ2 在针对性生物医学问题的精确度/召回率方面，KG IR 与嵌入IR相比如何？
• RQ3 混合KG+嵌入检索是否能超越单独的每种方法？
• RQ4 通过KG（新近性+影响力Pareto）实现再平衡是否能提高对最近且有影响力文献的发现？

主要发现

• 在目标生物医学问题上，KG IR 在 precision@K 和 recall@K 上优于 ES IR，且在多种疾病中成立。
• KG IR 检索的文档集更广泛且更具多样性（长尾），表现在更明显的聚类和更广的基于图的检索区域。
• 混合 ES IR + KG IR 在小K时表现更优，并且随着K增大仍具优势。
• 嵌入IR 因数据不平衡而倾向于对近问题区域过采样，而KG IR 通过图结构以及新近性/影响力的优先排序来实现数据再平衡。
• 在早期检索阶段（K<100）将KG信号与嵌入信号结合，明显优于任一单一方法。