[논문 리뷰] Computational Protein Science in the Era of Large Language Models (LLMs)

Wenqi Fan, Yi Zhou외 6명|ArXiv.org|2025. 01. 17.

Genetics, Bioinformatics, and Biomedical Research인용 수 6

한 줄 요약

논문은 단백질 언어 모델(pLMs)과 그를 구조 예측, 기능 예측, 설계에 사용하는 방법을 조사하고, 서열-구조-기능 언어를 구성하며 pLMs를 학습된 지식으로 분류한다.

ABSTRACT

Considering the significance of proteins, computational protein science has always been a critical scientific field, dedicated to revealing knowledge and developing applications within the protein sequence-structure-function paradigm. In the last few decades, Artificial Intelligence (AI) has made significant impacts in computational protein science, leading to notable successes in specific protein modeling tasks. However, those previous AI models still meet limitations, such as the difficulty in comprehending the semantics of protein sequences, and the inability to generalize across a wide range of protein modeling tasks. Recently, LLMs have emerged as a milestone in AI due to their unprecedented language processing & generalization capability. They can promote comprehensive progress in fields rather than solving individual tasks. As a result, researchers have actively introduced LLM techniques in computational protein science, developing protein Language Models (pLMs) that skillfully grasp the foundational knowledge of proteins and can be effectively generalized to solve a diversity of sequence-structure-function reasoning problems. While witnessing prosperous developments, it's necessary to present a systematic overview of computational protein science empowered by LLM techniques. First, we summarize existing pLMs into categories based on their mastered protein knowledge, i.e., underlying sequence patterns, explicit structural and functional information, and external scientific languages. Second, we introduce the utilization and adaptation of pLMs, highlighting their remarkable achievements in promoting protein structure prediction, protein function prediction, and protein design studies. Then, we describe the practical application of pLMs in antibody design, enzyme design, and drug discovery. Finally, we specifically discuss the promising future directions in this fast-growing field.

연구 동기 및 목표

• 단백질의 sequence-structure-function 언어와 계산적 단백질 과학에서의 AI의 역할을 설명한다.
• 그들이 숙달한 지식에 따라 기존의 단백질 언어 모델을 분류한다: 서열 패턴, 명시적 구조/기능 정보, 그리고 외부 언어.
• pLM이 구조 예측, 기능 예측, 그리고 단백질 설계에 어떻게 사용되고 적응되는지 요약한다.
• pLM의 실용적인 생의학적 응용과 향후 방향을 논의한다.

제안 방법

• pLM을 순서 기반(sequence-based), 구조·기능 강화(structure-and-function-enhanced), 다중 모달(multimodal) 범주로 분류한다.
• 대표적인 pLM의 사전학습 목표와 아키텍처를 설명하고 그것들이 단백질 지식과 어떻게 연관되는지 설명한다.
• 인코더-디코더 또는 통합 아키텍처를 통해 구조, 기능, 설계 작업에 pLM 표현이 어떻게 사용되는지 설명한다.
• 생물학에서 LLM을 위한 최적화 전략을 논의한다: 파인튜닝(fine-tuning), 프롬프팅 prompting, 및 PEFT 메커니즘.
• 항체 설계, 효소 설계, 신약 발견과 같은 다운스트림 응용을 검토한다.

실험 결과

연구 질문

• RQ1 pLM은 단백질 서열, 구조, 기능에 대한 지식을 어떻게 포착하고 활용하는가?
• RQ2 존재하는 pLM의 범주는 무엇이며 어떤 지식을 숙달하는가?
• RQ3 pLM은 어떻게 단백질 구조 예측, 기능 예측 및 설계 작업을 개선하기 위해 적응되는가?
• RQ4 현재 pLM의 생의학적 응용은 무엇이며 어떤 미래 방향이 예상되는가?

주요 결과

• pLM은 명시적 진화 데이터 없이도 단백질 서열로부터 구조적 및 기능적 정보를 추론할 수 있다.
• 단일 서열 pLM은 매개변수 크기와 함께 확장되며 원자 해상도에서 단백질 구조에 대한 지식을 향상시킨다.
• pLM은 다양한 인코더, 디코더, 프롬프팅 전략을 통해 구조 예측, 기능 예측, 및 단백질 설계에 효과적으로 사용된다.
• 다중 작업(multi-task) 및 질의응답 프레임워크는 시퀀스-구조-기능 추론 작업의 통합적 처리를 가능하게 한다.
• 다른 데이터 입력, 학습 목표 및 아키텍처 설계가 특정 단백질 작업에 대한 적합성에 영향을 주는 별개의 pLM 범주가 존재한다.