[論文レビュー] ProteinGPT: Multimodal LLM for Protein Property Prediction and Structure Understanding

Yijia Xiao, Edward W. Sun+3 more|arXiv (Cornell University)|Aug 21, 2024

Machine Learning in Bioinformatics被引用数 6

ひとこと要約

ProteinGPTは、タンパク質配列と構造をLLMに融合させ、対話的な質問と簡潔なQAを可能にするマルチモーダルなタンパク質チャットシステムです。大規模なProteinQAデータセット上でGPT-4o-guided instruction-tuningアプローチを用いて訓練されています。

ABSTRACT

Understanding biological processes, drug development, and biotechnological advancements requires a detailed analysis of protein structures and functions, a task that is inherently complex and time-consuming in traditional protein research. To streamline this process, we introduce ProteinGPT, a state-of-the-art multimodal large language model for proteins that enables users to upload protein sequences and/or structures for comprehensive analysis and responsive inquiries. ProteinGPT integrates protein sequence and structure encoders with linear projection layers to ensure precise representation adaptation and leverages a large language model (LLM) to generate accurate, contextually relevant responses. To train ProteinGPT, we constructed a large-scale dataset of 132,092 proteins, each annotated with 20-30 property tags and 5-10 QA pairs per protein, and optimized the instruction-tuning process using GPT-4o. Experiments demonstrate that ProteinGPT effectively generates informative responses to protein-related questions, achieving high performance on both semantic and lexical metrics and significantly outperforming baseline models and general-purpose LLMs in understanding and responding to protein-related queries. Our code and data are available at https://github.com/ProteinGPT/ProteinGPT.

研究の動機と目的

• 配列と構造データを自然言語による対話と組み合わせることで、より速く、より正確なタンパク質解析を促進する。
• タンパク質配列と構造の埋め込みをLLMに適した表現へマッピングする、マルチモーダルパイプラインの開発。
• モデルに簡潔で関連性の高いタンパク質の質問に答えられるよう、豊富な注釈付きのinstruction-tuningデータセット（ProteinQA）を大規模に作成する。）

提案手法

• 凍結された2つのエンコーダ（sequence: esm2_t36_3B_UR50D; structure: esm_if1_gvp4_t16_142M_UR50）により埋め込みを生成する。
• 線形射影層が両方の埋め込みをLLMの埋め込みと整合させ、ソフトプロンプトを形成する。
• 2段階の訓練: (1) 射影層によるモダリティ整合; (2) GPT-4o guided QAデータセットを用いたinstruction tuning。
• ProteinQAは、要約を含む132,092のタンパク質サンプル、20–30個の属性タグ、各サンプルあたり5–10のQAペアを提供する。
• instruction tuning用に明示的なQuestion-Answerペアを作成するため、GPT-4oを用いたQA増強。
• 評価は、複数のベースLLMに渡って、semantic指標（BERTScore、PubMedBERT-Score、GPT Score）とlexical指標（ROUGE）を含む。

Figure 1: ProteinGPT Modality Fusion & Alignment Stage: we freeze the encoder blocks and train the linear project layer to learn how to align protein structure and protein sequence representations with text. In the alignment stage, the input to the training is only the projected protein representati

実験結果

リサーチクエスチョン

• RQ1 タンパク質配列と構造のマルチモーダル融合は、LLMベースのタンパク質理解とQAの精度を向上させるか？
• RQ2 モダリティ整合とその後のinstruction tuningが、タンパク質質問のsemanticおよびlexical QA性能にどのように影響するか？
• RQ3 ProteinGPTは、タンパク質に特化した問いにおいて、vanilla LLMsやGPTベースのベースラインを上回るか？

主な発見

• ProteinGPTは評価において高いsemantic類似度を達成する一方、文形の出力のためlexical重複は低い。
• Llama-3とMistralのバックボーンが、テストされたモデルの中でProteinGPTの最良の性能を示す。
• ProteinGPTは、テストされたタスク全体でsemantic評価において、vanilla LLMベースラインおよびOpenAI GPTモデルを一貫して上回る。
• 一部のバックボーンでは閉じた質問のQA精度が約70–80%に達し、単語の真偽を問う場合の信頼性の高い事実回答を示唆。
• モダリティ整合はvanilla LLMより性能を向上させ、instruction tuningはモダリティ整合のみより追加の改善を提供する。

Figure 2: ProteinGPT Instruction Tuning Stage: we utilize the QA pairs and property tags in ProteinQA to tune the LLM to follow instructions and give concise responses. For instruction alignment, explicit prompts ( Questions on the protein) are included at the beginning of the prompt.