[论文解读] Gene-associated Disease Discovery Powered by Large Language Models

Jiayu Chang, Shiyu Wang+3 more|arXiv (Cornell University)|Jan 16, 2024

Biomedical Text Mining and OntologiesBiochemistry, Genetics and Molecular Biology被引用 3

一句话总结

本文提出了一种基于大型语言模型（LLM）的框架，通过检索和总结相关科学文献，实现基因-疾病关联的自动化发现。利用PubMed API和GPT-4等LLM，该系统能够以高准确度识别并排序与特定基因相关的疾病，针对阿尔茨海默病在前20名中的命中率为0.8，展示了在实时、上下文感知疾病预测中的强大性能。

ABSTRACT

The intricate relationship between genetic variation and human diseases has been a focal point of medical research, evidenced by the identification of risk genes regarding specific diseases. The advent of advanced genome sequencing techniques has significantly improved the efficiency and cost-effectiveness of detecting these genetic markers, playing a crucial role in disease diagnosis and forming the basis for clinical decision-making and early risk assessment. To overcome the limitations of existing databases that record disease-gene associations from existing literature, which often lack real-time updates, we propose a novel framework employing Large Language Models (LLMs) for the discovery of diseases associated with specific genes. This framework aims to automate the labor-intensive process of sifting through medical literature for evidence linking genetic variations to diseases, thereby enhancing the efficiency of disease identification. Our approach involves using LLMs to conduct literature searches, summarize relevant findings, and pinpoint diseases related to specific genes. This paper details the development and application of our LLM-powered framework, demonstrating its potential in streamlining the complex process of literature retrieval and summarization to identify diseases associated with specific genetic variations.

研究动机与目标

• 为解决静态、过时的疾病-基因数据库的局限性，实现实时、动态的基因-疾病关联发现。
• 自动化处理从数千篇医学文献中筛选与特定基因相关联的疾病链接这一劳动密集型过程。
• 通过提供基于最新研究的及时、循证疾病预测，改善临床决策。
• 评估LLM在基于科学摘要中的上下文证据理解并排序基因-疾病关系方面的有效性。

提出的方法

• 利用PubMed API根据基因特异性查询检索前-K篇科学文献，以相关性和时效性作为筛选标准。
• 采用微调后的提示（prompt）指导LLM（如GPT-4）从文章摘要和全文中提取并总结疾病关联信息。
• 在LLM中使用上下文学习，基于语言线索（如“最常见”或“20%相关”）按关联强度对疾病进行排序。
• 应用检索超参数N以控制用于LLM推理的文献引用数量，优化知识密度和相关性。
• 以命中率（HR）在前-K名作为主要评估指标，衡量在识别目标疾病（如阿尔茨海默病）方面的召回性能。
• 在DisGeNET数据库的精选子集上验证该框架，聚焦于已知的基因-疾病对以进行基准测试。

实验结果

研究问题

• RQ1 LLM能否有效检索并总结相关科学文献，以识别与特定基因相关的疾病？
• RQ2 检索的文献引用数量（N）如何影响LLM对疾病排序的准确性？
• RQ3 LLM在多大程度上能够理解医学文献中的上下文线索，以评估基因-疾病关联的强度？
• RQ4 与传统静态数据库相比，该框架在召回率和实时相关性方面的表现如何？

主要发现

• 针对阿尔茨海默病的命中率在前20名中达到0.8，表明在前几名输出中正确识别目标疾病的能力很强。
• 随着检索的文献引用数量（N）增加，阿尔茨海默病出现在前-K名结果中的频率也相应提高，表明知识覆盖范围更广可提升召回率。
• LLM通过正确识别阿尔茨海默病为PSEN1的主要关联疾病，展现了上下文理解能力，引用了诸如“家族性阿尔茨海默病最常见的病因”等短语。
• 随着K从2增至20，命中率稳步上升，尤其在K=10、15和20时提升显著，表明在不同排名阈值下均具鲁棒性。
• 该框架成功将阿尔茨海默病排在PSEN1的首位，基于摘要内容正确识别其为与该基因关联的主要疾病。
• 结果证实，LLM能够有效处理和推理复杂医学文献，以高精度提取并排序疾病关联。