[논문 리뷰] GP-GPT: Large Language Model for Gene-Phenotype Mapping

Yanjun Lyu, Zihao Wu외 12명|arXiv (Cornell University)|2024. 09. 15.

Biomedical Text Mining and OntologiesBiochemistry, Genetics and Molecular Biology인용 수 3

한 줄 요약

GP-GPT는 OMIM, DisGeNET, dbGaP 등의 정제된 데이터베이스에서 유래한 300만 개 이상의 유전체 및 의학 유전학 용어로 미세튜닝된 전문화된 대규모 언어 모델이다. 유전자-표현형 매핑, 유전체학 질문 응답 및 관계 결정 분야에서 Llama3 및 GPT-4와 같은 최신 기술 모델들을 능가하며, 생물학적 실체 표현의 향상과 인공지능 기반 유전병 예측 잠재력에 기여한다.

ABSTRACT

Pre-trained large language models(LLMs) have attracted increasing attention in biomedical domains due to their success in natural language processing. However, the complex traits and heterogeneity of multi-sources genomics data pose significant challenges when adapting these models to the bioinformatics and biomedical field. To address these challenges, we present GP-GPT, the first specialized large language model for genetic-phenotype knowledge representation and genomics relation analysis. Our model is fine-tuned in two stages on a comprehensive corpus composed of over 3,000,000 terms in genomics, proteomics, and medical genetics, derived from multiple large-scale validated datasets and scientific publications. GP-GPT demonstrates proficiency in accurately retrieving medical genetics information and performing common genomics analysis tasks, such as genomics information retrieval and relationship determination. Comparative experiments across domain-specific tasks reveal that GP-GPT outperforms state-of-the-art LLMs, including Llama2, Llama3 and GPT-4. These results highlight GP-GPT's potential to enhance genetic disease relation research and facilitate accurate and efficient analysis in the fields of genomics and medical genetics. Our investigation demonstrated the subtle changes of bio-factor entities' representations in the GP-GPT, which suggested the opportunities for the application of LLMs to advancing gene-phenotype research.

연구 동기 및 목표

• 다양한 생물학적 수준에서 복잡하고 이질적인 유전체학 및 표현형 데이터를 표현하는 데 도전하는 것.
• 구조화된 및 비구조화된 생물의학 데이터를 하나의 LLM 기반 시스템에 통합하는 통합 프레임워크 개발.
• 유전자-표현형 관계 추출 및 의학 유전학 정보 검색의 정확도 향상.
• 특히 샘플 수가 적거나 불균형한 데이터 시나리오에서 인공지능 기반 유전병 연관성 진단 및 탐색 지원.

제안 방법

• 3종의 Llama 기반 LLM(Small, Base, Large)을 정제된 300만 개 이상의 유전체학 및 의학 유전학 용어 코퍼스에 대해 미세튜닝.
• OMIM, DisGeNET, UniProt, dbGaP 등의 구조화된 데이터 소스와 비구조화된 과학 문헌에서 포괄적인 텍스트 코퍼스를 구축.
• 유전적 및 표현형 실체의 도메인 특화 이해 및 표현을 향상시키기 위해 이중 단계의 미세튜닝 적용.
• 유사한 생물학적 실체인 유전자, 단백질 및 질병의 임베딩을 동일한 벡터 공간에 정렬하기 위해 대비 학습 및 어텐션 메커니즘 활용.
• 기준 데이터셋을 사용하여 유전체학 질문 응답 및 유전자 관계 결정 작업에서 모델 성능 평가.
• 미세튜닝 후 생물학적으로 일관된 유전자-질병 그룹의 클러스터링 향상 여부를 확인하기 위해 은닉 표현 분석.

실험 결과

연구 질문

• RQ1 대규모 언어 모델이 생물학적 텍스트 내에서 복잡한 유전자-표현형-질병 관계를 효과적으로 표현하고 추론할 수 있는가?
• RQ2 유전체학 코퍼스에 대한 도메인 특화 미세튜닝이 일반 모델 대비 유전체학 전용 작업에서 LLM의 성능을 얼마나 향상시키는가?
• RQ3 모델 크기와 아키텍처가 유전병 연관성 맥락에서 생물학적 실체 표현의 품질에 미치는 영향은 어느 정도인가?
• RQ4 모델은 다수의 생물학적 수준 지식 통합이 필요한 복잡한 유전학 의학 질문에 대해 신뢰할 수 있고 맥락 인식 가능한 답변을 생성할 수 있는가?
• RQ5 미세튜닝된 모델은 임베딩 공간에서 더 명확하고 생물학적으로 의미 있는 유전자 및 질병 클러스터링을 학습하는가?

주요 결과

• GP-GPT는 Llama2, Llama3, GPT-4와 같은 최신 기술 모델들을 초월하여 유전체학 질문 응답 및 유전자 관계 결정 작업에서 뛰어난 성능을 보였다.
• 미세튜닝된 모델은 도메인 특화된 은닉 표현에서 뚜렷한 향상을 보였으며, 신경 및 뇌 관련 유전자 및 질병의 임베딩 공간 내에서 더 명확한 클러스터링을 보였다.
• 모델 크기가 성능에 상당한 영향을 미쳤으며, GP-GPT Large(70B 파라미터)가 모든 평가 작업에서 가장 높은 정확도를 기록했다.
• 모델은 Aβ40 혈관병변과 뇌 출혈, LRRK2 돌연변이와 루이 body 질환 간의 복잡하고 다면적인 연관성을 성공적으로 검색했다.
• 미세튜닝은 생물학적 요소 실체 표현에 미세하지만 의미 있는 변화를 유도하여 생물학적 관계에 대한 깊은 이해를 반영했다.
• GP-GPT는 데이터가 제한되거나 불균형한 경우에도 인공지능 기반 유전병 예측에 매우 큰 잠재력을 보였다.