[論文レビュー] Computational Protein Science in the Era of Large Language Models (LLMs)

Wenqi Fan, Yi Zhou+6 more|ArXiv.org|Jan 17, 2025

Genetics, Bioinformatics, and Biomedical Research被引用数 6

ひとこと要約

本論文はタンパク質言語モデル（pLMs）とそれらの構造予測、機能予測、設計への応用を概説し、シーケンス-構造-機能言語を定義し、学習された知識によってpLMsを分類している。

ABSTRACT

Considering the significance of proteins, computational protein science has always been a critical scientific field, dedicated to revealing knowledge and developing applications within the protein sequence-structure-function paradigm. In the last few decades, Artificial Intelligence (AI) has made significant impacts in computational protein science, leading to notable successes in specific protein modeling tasks. However, those previous AI models still meet limitations, such as the difficulty in comprehending the semantics of protein sequences, and the inability to generalize across a wide range of protein modeling tasks. Recently, LLMs have emerged as a milestone in AI due to their unprecedented language processing & generalization capability. They can promote comprehensive progress in fields rather than solving individual tasks. As a result, researchers have actively introduced LLM techniques in computational protein science, developing protein Language Models (pLMs) that skillfully grasp the foundational knowledge of proteins and can be effectively generalized to solve a diversity of sequence-structure-function reasoning problems. While witnessing prosperous developments, it's necessary to present a systematic overview of computational protein science empowered by LLM techniques. First, we summarize existing pLMs into categories based on their mastered protein knowledge, i.e., underlying sequence patterns, explicit structural and functional information, and external scientific languages. Second, we introduce the utilization and adaptation of pLMs, highlighting their remarkable achievements in promoting protein structure prediction, protein function prediction, and protein design studies. Then, we describe the practical application of pLMs in antibody design, enzyme design, and drug discovery. Finally, we specifically discuss the promising future directions in this fast-growing field.

研究の動機と目的

• タンパク質のシーケンス-構造-機能言語と、計算機によるタンパク質科学におけるAIの役割を説明する。
• 既存のタンパク質言語モデルを、習得する知識（シーケンスパターン、明示的な構造/機能情報、外部言語）ごとに分類する。
• pLMsが構造予測、機能予測、タンパク質設計にどのように用いられ、適応されるかをまとめる。
• pLMsの実用的な生物医療応用について論じ、将来の方向性を概説する。

提案手法

• pLMsをシーケンスベース、構造と機能を強化したもの、マルチモーダルのカテゴリに分類する。
• 代表的なpLMsの事前学習目的とアーキテクチャを説明し、それらがタンパク質知識とどのように関連するかを説明する。
• エンコーダ-デコーダ型や統合型アーキテクチャを通じて、pLM表現が構造・機能・設計タスクにどのように用いられるかを説明する。
• ファインチューニング、プロンプティング、PEFT（パラメータ化ファインチューニング）機構を含む生物学におけるLLMの最適化戦略について論じる。
• 抗体設計、酵素設計、創薬などの下流応用をレビューする。

実験結果

リサーチクエスチョン

• RQ1 pLMsはタンパク質のシーケンス、構造、機能に関する知識をどのように捉え、活用するのか。
• RQ2 どのようなカテゴリのpLMsが存在し、それらはどの知識を習得しているのか。
• RQ3 pLMsはタンパク質構造予測、機能予測、設計タスクを改善するためにどのように適応されているのか。
• RQ4 pLMsの現在の生物医療応用は何か、将来の展望は何が見込まれるか。

主な発見

• pLMsは場合によっては明示的な進化データがなくても、タンパク質シーケンスから構造的・機能的情報を推測できる。
• 単一シーケンスpLMsはパラメータサイズとともにスケールし、原子分解能でタンパク質構造に関する知識を向上させる。
• pLMsは、さまざまなエンコーダ、デコーダ、プロンプティング戦略を通じて、構造予測、機能予測、タンパク質設計に効果的に使用されている。
• マルチタスクおよび質問応答型フレームワークは、シーケンス-構造-機能推論タスクを統合的に扱えるようにする。
• データ入力、訓練目的、アーキテクチャ設計が異なる、特定のタンパク質タスクに適したpLMsの異なるカテゴリが存在する。