[논문 리뷰] Advancing bioinformatics with large language models: components, applications and perspectives

Jiajia Liu, Mengyuan Yang외 5명|PubMed|2024. 01. 08.

RNA modifications and cancer참고 문헌 170인용 수 26

한 줄 요약

이 논문은 생물정보학에 필수적인 LLM 구성요소와 아키텍처를 분석하고, 기초 모델과 다운스트림 응용을 조사하며, 사용자 및 개발자를 위한 실용적 지침을 제공합니다.

ABSTRACT

Large language models (LLMs) are a class of artificial intelligence models based on deep learning, which have great performance in various tasks, especially in natural language processing (NLP). Large language models typically consist of artificial neural networks with numerous parameters, trained on large amounts of unlabeled input using self-supervised or semi-supervised learning. However, their potential for solving bioinformatics problems may even exceed their proficiency in modeling human language. In this review, we will provide a comprehensive overview of the essential components of large language models (LLMs) in bioinformatics, spanning genomics, transcriptomics, proteomics, drug discovery, and single-cell analysis. Key aspects covered include tokenization methods for diverse data types, the architecture of transformer models, the core attention mechanism, and the pre-training processes underlying these models. Additionally, we will introduce currently available foundation models and highlight their downstream applications across various bioinformatics domains. Finally, drawing from our experience, we will offer practical guidance for both LLM users and developers, emphasizing strategies to optimize their use and foster further innovation in the field.

연구 동기 및 목표

• 유전체학, 전사체학, 단백질체학, 신약 발견, 그리고 단일 세포 분석과 같은 생물정보학 분야에 대형 언어 모델을 어떤 방식으로 적용할 수 있는지 설명한다.
• 생물정보학과 관련된 LLM의 핵심 구성요소 및 설계 선택지를 식별한다.
• 가용한 기초 모델과 그들의 다운스트림 생물정보학 응용을 요약한다.
• 용도 최적화와 혁신을 촉진하기 위해 LLM 사용자와 개발자를 위한 실용적 지침을 제공한다.

제안 방법

• 다양한 생물학적 데이터 유형에 대한 토큰화 방법을 논의한다.
• 트랜스포머 아키텍처와 핵심 어텐션 메커니즘을 설명한다.
• 생물정보학에서 LLM의 사전 학습 과정을 개요한다.
• 현재 이용 가능한 기초 모델 및 그들의 다운스트림 응용을 조사한다.
• 사용자와 개발자를 위한 실용적 지침과 모범 사례를 제공한다.

실험 결과

연구 질문

• RQ1 생물정보학 작업에 필요한 필수 LLM 구성요소는 무엇인가?
• RQ2 현재 기초 모델이 생물정보학 도메인 전반에 걸쳐 어떻게 적용되고 있는가?
• RQ3 생물정보학 연구 및 개발에서 LLM의 활용을 최적화하는 실용적 전략은 무엇인가?

주요 결과

• LLMs는 규모와 학습 능력으로 인해 특정 작업에서 전통적인 생물정보학 모델링을 능가할 잠재력이 있다.
• 토큰화, 아키텍처, 그리고 사전 학습 선택은 생물학적 데이터의 성능에 결정적으로 영향을 미친다.
• 기초 모델이 이용 가능하며 게놈학, 전사체학, 단백질체학, 신약 발견, 단일 세포 분석 등에서 다양한 다운스트림 응용이 있다.
• 이 논문은 생물정보학에서 LLM을 효과적으로 사용하고 개발하기 위한 지침을 제공하여 혁신을 촉진한다.