[논문 리뷰] AI for Biomedicine in the Era of Large Language Models

Zhenyu Bi, Sajib Acharjee Dip외 5명|arXiv (Cornell University)|2024. 03. 23.

Artificial Intelligence in Healthcare and Education인용 수 5

한 줄 요약

논문은 대형 언어 모델이 텍스트, 생물학적 시퀀스, 뇌 신호의 세 가지 생의학 데이터 유형에 걸쳐 어떻게 적용될 수 있는지 조사하고, 신뢰성, 개인화, 다중 모달 통합과 같은 과제를 논의한다.

ABSTRACT

The capabilities of AI for biomedicine span a wide spectrum, from the atomic level, where it solves partial differential equations for quantum systems, to the molecular level, predicting chemical or protein structures, and further extending to societal predictions like infectious disease outbreaks. Recent advancements in large language models, exemplified by models like ChatGPT, have showcased significant prowess in natural language tasks, such as translating languages, constructing chatbots, and answering questions. When we consider biomedical data, we observe a resemblance to natural language in terms of sequences: biomedical literature and health records presented as text, biological sequences or sequencing data arranged in sequences, or sensor data like brain signals as time series. The question arises: Can we harness the potential of recent large language models to drive biomedical knowledge discoveries? In this survey, we will explore the application of large language models to three crucial categories of biomedical data: 1) textual data, 2) biological sequences, and 3) brain signals. Furthermore, we will delve into large language model challenges in biomedical research, including ensuring trustworthiness, achieving personalization, and adapting to multi-modal data representation

연구 동기 및 목표

• 텍스트 데이터, 생물학적 시퀀스, 뇌 신호에 걸친 생의학 지식 발견을 위한 대형 언어 모델의 탐구를 촉진한다.
• 다양한 데이터 모달리에 맞춘 기존 생의학 LLM 및 아키텍처를 조사한다.
• 신뢰성, 개인화, 다중 모달 생의학 AI에 대한 도전과 고려사항을 식별한다.
• 임상 및 연구 환경에서 생의학 LLM이 가능하게 하는 적용 및 후속 작업을 강조한다.

제안 방법

• 세 가지 데이터 범주(텍스트 데이터, 생물학적 시퀀스, 뇌 신호) 전반에 걸친 생의학 LLM에 관한 문헌을 검토하고 종합한다.
• 각 모듈리티에서 대표적 모델과 사전 학습 전략을 요약한다(예: SciBERT, BioBERT, BioGPT, GenSLMs, DNABERT, RNABERT, ESM, ProtST 등).
• 정보 추출, 질의 응답, 관계 추출, 단백질/RNA 서열 이해 및 생성 등에서의 응용을 논의한다.
• 신뢰성, 개인화, 다중 모달 데이터 표현을 포함한 도전과제를 요약한다.

Figure 1. Overview of applications, models, and downstream tasks for biomedical LLMs on textual data.

실험 결과

연구 질문

• RQ1 생의학 텍스트 데이터, 서열, 뇌 신호에 적용될 때 LLM의 현재 능력과 한계는 무엇인가?
• RQ2 각 생의학 데이터 모달리티에 대해 가장 효과적인 모델과 사전 학습 접근 방식은 무엇인가?
• RQ3 신뢰성 있고 개인화되며 다중 모달 LLM 주도 생의학 연구 및 실습을 보장하기 위해 어떤 도전과제를 해결해야 하는가?

주요 결과

• 생의학 LLM은 텍스트 데이터, 서열(DNA, RNA, 단백질, 다오믹스 포함), 뇌 신호까지 특화된 모델과 사전 학습 체계로 확장된다.
• 다양한 도메인 특화 모델들(예: SciBERT, BioBERT, PubMedBERT, BioLinkBERT, Galactica, BioGPT, DoT5, GenSLMs, DNABERT, RNABERT, RNA-MSM, ESM/ESM-2, ProtST)은 세 가지 데이터 범주에서 최첨단 또는 근접한 성능을 달성했다.
• 응용 예로 정보 추출, 질의 응답, 관계 추출, 생의학 발견을 위한 고급 서열/기능 예측 및 설계가 포함된다.
• 논문은 신뢰성 보장, 개인화 가능성, 다중 모달 생의학 데이터에의 모델 적응 등과 같은 도전과제를 강조한다.

Figure 2. Overview of models and applications for Genomic LLMs on biological sequences.