[논문 리뷰] ProteinGPT: Multimodal LLM for Protein Property Prediction and Structure Understanding

Yijia Xiao, Edward W. Sun외 3명|arXiv (Cornell University)|2024. 08. 21.

Machine Learning in Bioinformatics인용 수 6

한 줄 요약

ProteinGPT는 다중모달 단백질 챗 시스템으로, 단백질 서열과 구조를 LLM에 융합하여 대화식 질문과 간결한 QA를 가능하게 하며, 대형 ProteinQA 데이터셋에서 GPT-4o-guided instruction-tuning 방식으로 학습된다.

ABSTRACT

Understanding biological processes, drug development, and biotechnological advancements requires a detailed analysis of protein structures and functions, a task that is inherently complex and time-consuming in traditional protein research. To streamline this process, we introduce ProteinGPT, a state-of-the-art multimodal large language model for proteins that enables users to upload protein sequences and/or structures for comprehensive analysis and responsive inquiries. ProteinGPT integrates protein sequence and structure encoders with linear projection layers to ensure precise representation adaptation and leverages a large language model (LLM) to generate accurate, contextually relevant responses. To train ProteinGPT, we constructed a large-scale dataset of 132,092 proteins, each annotated with 20-30 property tags and 5-10 QA pairs per protein, and optimized the instruction-tuning process using GPT-4o. Experiments demonstrate that ProteinGPT effectively generates informative responses to protein-related questions, achieving high performance on both semantic and lexical metrics and significantly outperforming baseline models and general-purpose LLMs in understanding and responding to protein-related queries. Our code and data are available at https://github.com/ProteinGPT/ProteinGPT.

연구 동기 및 목표

• 시퀀스와 구조 데이터를 자연어 상호작용과 결합하여 더 빠르고 정확한 단백질 분석을 촉진합니다.
• 단백질 서열 및 구조 임베딩을 LLM 친화적 표현으로 매핑하는 다중 모달 파이프라인을 개발한다.
• 간결하고 관련성 높은 단백질 질문에 답하도록 모델을 가르치기 위한 크고 풍부하게 주석된 instruction-tuning 데이터셋(ProteinQA)을 만든다.

제안 방법

• 두 개의 고정 인코더(시퀀스: esm2_t36_3B_UR50D; 구조: esm_if1_gvp4_t16_142M_UR50) 가 임베딩을 생성한다.
• 선형 프로젝션 계층이 두 임베딩을 LLM 임베딩과 맞춰 소프트 프롬프트를 형성한다.
• 두 단계 학습: (1) 프로젝션 계층을 이용한 모달리티 정렬; (2) GPT-4o 안내 QA 데이터셋을 이용한 instruction tuning.
• ProteinQA는 초록과 함께 132,092개의 단백질 샘플, 20–30개의 속성 태그, 샘플당 5–10개의 QA 쌍을 제공한다.
• instruction tuning을 위한 명시적 Question-Answer 쌍을 생성하기 위해 GPT-4o를 이용한 QA 증강으로.
• 평가는 다수의 기본 LLM에서 의미론적 지표(BERTScore, PubMedBERT-Score, GPT Score)와 어휘적 지표(ROUGE)를 포함한다.

Figure 1: ProteinGPT Modality Fusion & Alignment Stage: we freeze the encoder blocks and train the linear project layer to learn how to align protein structure and protein sequence representations with text. In the alignment stage, the input to the training is only the projected protein representati

실험 결과

연구 질문

• RQ1 단백질 서열과 구조의 다중 모달 융합이 LLM 기반 단백질 이해 및 QA 정확도를 향상시킬 수 있는가?
• RQ2 모달리티 정렬이 그 후의 instruction tuning이 단백질 질문에 대한 의미론적 및 어휘적 QA 성능에 어떤 영향을 미치는가?
• RQ3 ProteinGPT가 일반 LLM 기본 모델 및 GPT 기반 기준선보다 단백질 중심 문의에서 더 우수한가?

주요 결과

• ProteinGPT는 평가에서 높은 의미론적 유사도 점수를 달성하지만 문장 형태의 출력으로 인해 어휘적 중복이 낮다.
• 테스트된 모델들 중 Llama-3 및 Mistral 백본이 ProteinGPT에서 가장 높은 성능을 보인다.
• ProteinGPT는 테스트된 작업들 전반에 걸쳐 의미론적 평가에서 일반 LLM 기본 모델 및 OpenAI GPT 모델을 지속적으로 능가한다.
• 일부 백본에서 Closed-ended QA 정확도가 약 70–80%에 이르러 단일 단어 정답에 대해 신뢰할 수 있는 사실 응답을 시사한다.
• 모달리티 정렬은 일반 LLM 대비 성능을 향상시키고, instruction tuning은 모달리티 정렬만의 성능 개선보다 추가 이점을 제공한다.

Figure 2: ProteinGPT Instruction Tuning Stage: we utilize the QA pairs and property tags in ProteinQA to tune the LLM to follow instructions and give concise responses. For instruction alignment, explicit prompts ( Questions on the protein) are included at the beginning of the prompt.