[논문 리뷰] Gene Set Summarization using Large Language Models

Marcin P. Joachimiak, J. Harry Caufield외 3명|arXiv (Cornell University)|2023. 05. 21.

Biomedical Text Mining and Ontologies인용 수 7

한 줄 요약

이 논문은 GPT 기반 대규모 언어 모델(Large Language Models, LLMs)을 활용하여 다양한 데이터 소스—정제된 애너테이션, 서사적 요약, 또는 직접 검색된 정보에서 유래한 생물학적으로 타당한 유전자 온톨로지(Gene Ontology, GO) 어휘를 생성함으로써 유전자 집합 기능을 요약하는 SPINDOCTOR라는 방법을 소개한다. LLMs는 일관되고 관련성이 높은 요약을 생성하지만, 통계적으로 신뢰할 수 있는 p-값을 제공하거나 일관되게 가장 정밀한 부족성 어휘를 식별하지 못하여, 낮은 결정성과 추론 능력의 한계로 인해 표준 부족성 분석의 대체로는 부적절하다.

ABSTRACT

Molecular biologists frequently interpret gene lists derived from high-throughput experiments and computational analysis. This is typically done as a statistical enrichment analysis that measures the over- or under-representation of biological function terms associated with genes or their properties, based on curated assertions from a knowledge base (KB) such as the Gene Ontology (GO). Interpreting gene lists can also be framed as a textual summarization task, enabling the use of Large Language Models (LLMs), potentially utilizing scientific texts directly and avoiding reliance on a KB. We developed SPINDOCTOR (Structured Prompt Interpolation of Natural Language Descriptions of Controlled Terms for Ontology Reporting), a method that uses GPT models to perform gene set function summarization as a complement to standard enrichment analysis. This method can use different sources of gene functional information: (1) structured text derived from curated ontological KB annotations, (2) ontology-free narrative gene summaries, or (3) direct model retrieval. We demonstrate that these methods are able to generate plausible and biologically valid summary GO term lists for gene sets. However, GPT-based approaches are unable to deliver reliable scores or p-values and often return terms that are not statistically significant. Crucially, these methods were rarely able to recapitulate the most precise and informative term from standard enrichment, likely due to an inability to generalize and reason using an ontology. Results are highly nondeterministic, with minor variations in prompt resulting in radically different term lists. Our results show that at this point, LLM-based methods are unsuitable as a replacement for standard term enrichment analysis and that manual curation of ontological assertions remains necessary.

연구 동기 및 목표

• 대규모 언어 모델(Large Language Models, LLMs)이 유전자 온톨로지(Gene Ontology, GO)와 같은 정제된 지식 기반에 의존하지 않고도 유전자 집합 기능을 효과적으로 요약할 수 있는지 탐색하는 것.
• LLMs가 유전자 집합에 대해 생물학적으로 의미 있고 정밀한 GO 어휘 목록을 생성하는 성능을 평가하는 것.
• 구조화된 애너테이션, 서사적 요약, 직접 검색을 활용한 LLM 기반 요약을 표준 부족성 분석과 비교하는 것.
• 기존 방법과 비교하여 LLM이 생성한 요약의 신뢰성, 결정성, 통계적 타당성 평가하는 것.
• LLMs가 온톨로지 구조를 효과적으로 활용하여 기능 어휘의 가장 정보적인 항목을 식별하는 데 일반화 및 추론 능력을 갖추고 있는지 확인하는 것.

제안 방법

• SPINDOCTOR는 GPT 모델이 유전자 집합의 기능 요약을 생성하도록 유도하기 위해 구조화된 프롬프트 엔지니어링을 적용한다.
• 이 방법은 세 가지 입력 유형을 지원한다: 정제된 GO 애너테이션, 온톨로지 없는 유전자 서사적 요약, LLM이 직접 유전자 기능 기술어를 검색하는 것.
• 프롬프트는 제어된 용어의 자연어 기술을 통합하여 모델이 관련된 GO 어휘를 유추할 수 있도록 설계된다.
• 입력 유전자 목록 기반으로 요약 어휘 목록을 생성하기 위해 소수의 예시 프롬프트(few-shot prompting)와 제로샷 추론(zer0-shot inference)을 사용한다.
• 모델 출력은 생물학적 타당성, 정밀도, 다중 실행 간 일관성 측면에서 평가된다.
• 기본 초과기하분포 부족성 분석과의 비교 평가를 통해 어휘 정확도와 통계적 신뢰성의 정도를 평가한다.

실험 결과

연구 질문

• RQ1 LLMs는 구조화된 지식 기반에 의존하지 않고도 생물학적으로 타당하고 일관된 유전자 집합 기능 요약을 생성할 수 있는가?
• RQ2 LLM 기반 요약은 표준 부족성 분석과 비교해 볼 때 가장 정밀하고 정보적인 GO 어휘를 식별하는 데 얼마나 효과적인가?
• RQ3 LLM 기반 방법은 얼마나 신뢰할 수 있는 p-값을 제공하며, 통계적으로 유의미한 어휘를 재현하는가?
• RQ4 LLM 출력은 미세한 프롬프트 변화에 얼마나 민감한가? 그로 인해 결정성과 일관성에 어떤 영향을 미치는가?
• RQ5 LLMs는 온톨로지 구조를 효과적으로 활용하여 유전자 집합 기능에 대해 일반화하고 추론할 수 있는가?

주요 결과

• SPINDOCTOR를 활용한 LLM 기반 요약은 모든 입력 유형—구조화된 애너테이션, 서사적 요약, 직접 검색—에서 생물학적으로 타당하고 일관된 GO 어휘 목록을 생성한다.
• 합리적인 요약을 생성함에도 불구하고, LLMs는 신뢰할 수 있는 p-값이나 통계적 유의성 점수를 제공하지 못하여 엄격한 생물학적 해석에 활용하기에 제한된다.
• 표준 부족성 분석이 식별한 가장 정밀하고 정보적인 어휘를 자주 재현하지 못하여, 온톨로지 추론 능력의 부족함이 드러난다.
• 결과는 매우 비결정적이다: 미세한 프롬프트 변화가 극단적으로 다른 어휘 목록을 유도하여 재현 가능성을 해친다.
• LLMs가 온톨로지 계층을 일반화하거나 추론하지 못함으로써 전통적인 부족성 분석 방법을 대체할 수 없다.
• 정확하고 신뢰할 수 있는 유전자 집합 기능 해석을 위해서는 온톨로지 진술의 수동 코딩이 여전히 필수적이다.