[论文解读] Gene Set Summarization using Large Language Models

Marcin P. Joachimiak, J. Harry Caufield+3 more|arXiv (Cornell University)|May 21, 2023

Biomedical Text Mining and Ontologies被引用 7

一句话总结

本文提出 SPINDOCTOR 方法，利用基于 GPT 的大语言模型（LLM）从多样化数据源——经整理的注释、叙述性摘要或直接检索——生成生物上合理的基因本体论（GO）术语，以总结基因集功能。尽管 LLM 生成的摘要具有一致性和相关性，但其无法提供统计上可靠的 p 值或一致识别出最精确的富集术语，因此由于确定性差和推理能力有限，不适合作为标准富集分析的替代方案。

ABSTRACT

Molecular biologists frequently interpret gene lists derived from high-throughput experiments and computational analysis. This is typically done as a statistical enrichment analysis that measures the over- or under-representation of biological function terms associated with genes or their properties, based on curated assertions from a knowledge base (KB) such as the Gene Ontology (GO). Interpreting gene lists can also be framed as a textual summarization task, enabling the use of Large Language Models (LLMs), potentially utilizing scientific texts directly and avoiding reliance on a KB. We developed SPINDOCTOR (Structured Prompt Interpolation of Natural Language Descriptions of Controlled Terms for Ontology Reporting), a method that uses GPT models to perform gene set function summarization as a complement to standard enrichment analysis. This method can use different sources of gene functional information: (1) structured text derived from curated ontological KB annotations, (2) ontology-free narrative gene summaries, or (3) direct model retrieval. We demonstrate that these methods are able to generate plausible and biologically valid summary GO term lists for gene sets. However, GPT-based approaches are unable to deliver reliable scores or p-values and often return terms that are not statistically significant. Crucially, these methods were rarely able to recapitulate the most precise and informative term from standard enrichment, likely due to an inability to generalize and reason using an ontology. Results are highly nondeterministic, with minor variations in prompt resulting in radically different term lists. Our results show that at this point, LLM-based methods are unsuitable as a replacement for standard term enrichment analysis and that manual curation of ontological assertions remains necessary.

研究动机与目标

• 探索大语言模型（LLM）是否能在不依赖基因本体论（GO）等结构化知识库的情况下，有效总结基因集功能。
• 评估 LLM 在为基因集生成具有生物意义且精确的 GO 术语列表方面的表现。
• 将基于 LLM 的摘要方法（使用结构化注释、叙述性摘要和直接检索）与标准富集分析进行比较。
• 评估 LLM 生成摘要在可靠性、确定性和统计有效性方面相较于成熟方法的表现。
• 确定 LLM 是否能够利用本体结构进行泛化和推理，以识别最具信息量的功能术语。

提出的方法

• SPINDOCTOR 采用结构化提示工程，引导 GPT 模型为基因集生成功能摘要。
• 该方法支持三种输入类型：经整理的 GO 注释、无本体论的基因叙述性摘要，以及 LLM 直接检索的基因功能描述。
• 提示设计用于插入受控术语的自然语言描述，使模型能够推断出相关的 GO 术语。
• 该方法采用少样本提示（few-shot prompting）和零样本推理（zero-shot inference），基于输入基因列表生成摘要术语列表。
• 对模型输出进行生物合理性、精确度和多次运行间一致性的评估。
• 与标准超几何分布富集分析进行对比评估，以检验术语准确性和统计可靠性。

实验结果

研究问题

• RQ1 LLM 是否能在不依赖结构化知识库的情况下，为基因集生成具有生物合理性和连贯性的功能摘要？
• RQ2 LLM 生成的摘要在识别最精确和最具信息量的 GO 术语方面，与标准富集分析相比表现如何？
• RQ3 基于 LLM 的方法在多大程度上能重现具有可靠 p 值的统计显著性术语？
• RQ4 LLM 输出对提示的微小变化有多敏感？其对确定性和一致性造成何种影响？
• RQ5 LLM 是否能有效利用本体结构进行推理，以实现对基因集功能的泛化？

主要发现

• 使用 SPINDOCTOR 的基于 LLM 的摘要在所有输入类型（结构化注释、叙述性摘要和直接检索）下均生成了生物上合理且连贯的 GO 术语列表。
• 尽管生成了合理的摘要，LLM 仍无法产生可靠的 p 值或统计显著性评分，限制了其在严谨生物学解释中的应用。
• 该方法常常无法复现标准富集分析所识别出的最精确和最具信息量的术语，表明其缺乏本体论推理能力。
• 结果高度不确定：提示的微小变化会导致术语列表发生显著差异，严重损害可重现性。
• LLM 无法对本体层次结构进行泛化或推理，因此无法替代传统富集分析方法。
• 对本体论断言的手动整理对于基因集功能的准确和可靠解释仍至关重要。