[論文レビュー] Exploring evolution-aware & -free protein language models as protein function predictors

Mingyang Hu, Fajie Yuan+6 more|arXiv (Cornell University)|Jun 14, 2022

Machine Learning in Bioinformatics被引用数 4

ひとこと要約

本研究は、AlphaFoldに搭載されたアテンションベースのアーキテクチャであるEvoformerを、タンパク質機能予測モデルとして評価し、進化を考慮しない（ESM-1b）および進化を考慮する（MSA-Transformer）タンパク質言語モデルと比較した。構造予測において優れた性能を示す一方で、Evoformerはほとんどの機能予測タスク、特にゼロショットのフィットネス予測においてESM-1bに劣り、安定性および二次構造予測では優れた性能を示した。本研究は、ESM-1bが進化を考慮するモデルが利用可能な高品質なMSAを効率的に生成できることを示し、進化を考慮しないモデルと進化を考慮するモデルの間で補完的役割を果たす可能性を示した。

ABSTRACT

Large-scale Protein Language Models (PLMs) have improved performance in protein prediction tasks, ranging from 3D structure prediction to various function predictions. In particular, AlphaFold, a ground-breaking AI system, could potentially reshape structural biology. However, the utility of the PLM module in AlphaFold, Evoformer, has not been explored beyond structure prediction. In this paper, we investigate the representation ability of three popular PLMs: ESM-1b (single sequence), MSA-Transformer (multiple sequence alignment) and Evoformer (structural), with a special focus on Evoformer. Specifically, we aim to answer the following key questions: (i) Does the Evoformer trained as part of AlphaFold produce representations amenable to predicting protein function? (ii) If yes, can Evoformer replace ESM-1b and MSA-Transformer? (ii) How much do these PLMs rely on evolution-related protein data? In this regard, are they complementary to each other? We compare these models by empirical study along with new insights and conclusions. All code and datasets for reproducibility are available at https://github.com/elttaes/Revisiting-PLMs.

研究の動機と目的

• AlphaFoldで3D構造に基づいて事前学習されたEvoformerモジュールが、タンパク質機能予測に適した汎用的タンパク質表現を学習しているかどうかを評価すること。
• Evoformer、ESM-1b（進化を考慮しない）、MSA-Transformer（進化を考慮する）の3者を、複数の下流タスクにおいて機能表現能力の違いを比較すること。
• 進化を考慮するPLMが複数配列アラインメント（MSA）の品質と深さにどれほど依存しているかを調査し、ESM-1bがこれらのモデルに有効なMSAを生成できるかどうかを検証すること。
• 進化を考慮しないPLM（例：ESM-1b）が、進化を考慮するモデルにおけるMSA構築の高速で効率的な代替手段として機能できるかどうかを明らかにすること。

提案手法

• Evoformer、ESM-1b、MSA-Transformerを、二次構造、コンタクトマップ、機能アノテーション（CAFA）、フィットネススコア予測を含む多様なタンパク質機能予測タスクで、線形分類ヘッドを用いて微調整した。
• CAFA2およびCAFA3の機能アノテーションデータセットを含む複数のデータセットで、F1スコア、正答率、AUCなどの標準指標を用いてモデルの性能を評価した。
• 従来のツール（Jackhmmer/HHblits）に加え、ESM-1bに基づく高速なシアンプルネットワークフレームワークであるESM-MSAを用いてMSAを生成した。
• 微調整なしでフィットネス予測タスクをゼロショット評価し、表現の一般化能力およびロバストネスを評価した。
• MSAの深さと品質が異なる条件で性能を比較し、入力MSAの正確性に対する感受性を評価した。
• MSA入力を完全に除外することでアブレーションスタディを実施し、EvoformerおよびMSA-Transformerが進化的文脈にどれほど依存しているかを評価した。

実験結果

リサーチクエスチョン

• RQ1 AlphaFoldで事前学習されたEvoformerモジュールは、3D構造を超えたタンパク質機能予測に有用な表現を学習しているか？
• RQ2 Evoformerは、下流のタンパク質機能予測タスクにおいて、ESM-1bおよびMSA-Transformerを上回ることができるか、それとも構造予測に限定されるのか？
• RQ3 進化を考慮するPLMは、入力MSAの品質と深さにどれほど依存しているか。また、進化を考慮しないESM-1bは、これらのモデルに有効なMSAを生成できるか？
• RQ4 進化を考慮しないPLMと進化を考慮するPLMの間に、補完的関係があるか。具体的には、ESM-1bがEvoformerおよびMSA-TransformerのMSA構築に迅速かつ効果的に利用できるか？

主な発見

• Evoformerは、MSA入力を用いた二次構造予測（F1スコア：0.785）およびコンタクトマップ予測で優れた性能を示し、構造関連タスクへの有用性を示した。
• Evoformerはミニタンパク質の安定性予測および二次構造予測でESM-1bおよびMSA-Transformerを上回ったが、ほとんどの機能アノテーションおよびフィットネス予測タスクではESM-1bに劣った。
• MSAを入力としない場合、Evoformerの性能は著しく低下した（二次構造予測のF1スコア：0.614）、これは進化的文脈への強い依存を示している。
• MSA-Transformerも同様にMSA品質に敏感であり、二次構造予測ではMSAあり（F1スコア：0.748）からMSAなし（F1スコア：0.634）に性能が低下した。
• ESM-1bが生成したMSAは、Jackhmmer/HHblitsで得たMSAと同等の性能をEvoformerおよびMSA-Transformerで示し、ESM-MSAは著しく高速であった。
• ゼロショットのフィットネス予測では、ESM-1bがEvoformerおよびMSA-Transformerを上回り、その表現がこのようなタスクに対してよりロバストであることを示した。