[論文レビュー] ProteinBench: A Holistic Evaluation of Protein Foundation Models

Fei Ye, Zaixiang Zheng+8 more|arXiv (Cornell University)|Sep 10, 2024

Biomedical Text Mining and OntologiesBiochemistry, Genetics and Molecular Biology被引用数 3

ひとこと要約

ProteinBench は、タンパク質のフォンダーションモデルのための統合的で包括的な評価フレームワークを導入し、モダリティ間の関係性に基づいてタスクを分類し、品質、新規性、多様性、耐性の4つの側面について標準化された指標を用いて性能を評価する。このベンチマークは、タンパク質設計やコンformational ダイナミクスにおけるモデルの強みと限界に関する重要な洞察を明らかにし、コード、データセット、リーダーボードを含めて公開されており、今後の評価基準を標準化する。

ABSTRACT

Recent years have witnessed a surge in the development of protein foundation models, significantly improving performance in protein prediction and generative tasks ranging from 3D structure prediction and protein design to conformational dynamics. However, the capabilities and limitations associated with these models remain poorly understood due to the absence of a unified evaluation framework. To fill this gap, we introduce ProteinBench, a holistic evaluation framework designed to enhance the transparency of protein foundation models. Our approach consists of three key components: (i) A taxonomic classification of tasks that broadly encompass the main challenges in the protein domain, based on the relationships between different protein modalities; (ii) A multi-metric evaluation approach that assesses performance across four key dimensions: quality, novelty, diversity, and robustness; and (iii) In-depth analyses from various user objectives, providing a holistic view of model performance. Our comprehensive evaluation of protein foundation models reveals several key findings that shed light on their current capabilities and limitations. To promote transparency and facilitate further research, we release the evaluation dataset, code, and a public leaderboard publicly for further analysis and a general modular toolkit. We intend for ProteinBench to be a living benchmark for establishing a standardized, in-depth evaluation framework for protein foundation models, driving their development and application while fostering collaboration within the field.

研究の動機と目的

• タンパク質のフォンダーションモデルのための統合的評価フレームワークの欠如が、性能評価の公平性と透明性を損なっているという問題に対処すること。
• 配列、構造、機能のモダリティ間の関係性に基づいて、タンパク質モデリングタスクを体系的に分類すること。
• 品質、新規性、多様性、耐性という4つの主要次元を評価するマルチメトリックな評価プロトコルの開発。
• ユーザーの目的に即した詳細な分析を通じて、多様な生物学的分野におけるモデルの能力と限界を明らかにすること。
• データセット、コード、リーダーボードを備えた公開可能でモジュール式のツールキットを提供し、再現可能で標準化されたベンチマーク手法の実施を促進するとともに、分野全体の協力を促進すること。

提案手法

• モダリティ間の関係性に基づき、タンパク質モデリングタスクを4つの主要カテゴリに分類：構造設計、配列設計、構造-配列共同設計、抗体設計。
• 4つの次元（品質、新規性、多様性、耐性）の性能を評価するマルチメトリックな評価フレームワークの構築。品質は pLDDT、pTM、CA-clash、CA-break、PepBond-break を用い、新規性はトレーニングデータとの配列同一性、多様性は配列および構造のばらつき、耐性は入力の摂動に対する感受性を評価。
• BPTI、アポ-ホロ、ATLAS を含む、複数の生物学的分野にまたがる洗練された多様なデータセットを活用し、モデルの包括的評価を実現。
• AlphaFold2、ESMFold、RoseTTAFold2、EigenFold、Str2Str、AlphaFlow/ESMFlow、ConfDiff を含む11の最先端のタンパク質フォンダーションモデルを、標準化された推論パイプラインとハイパーパrameterを用いて実装。
• 構造的妥当性を評価するための構造的検証指標（CA-clash %、CA-break %、PepBond-break %）を適用し、予測された構造の幾何学的妥当性と安定性を評価。
• アンサンブル推論と信頼性スコア（例：pLDDT、ELBO）を用いて最適な予測を選択し、評価の耐性を確保。

実験結果

リサーチクエスチョン

• RQ1 タンパく質のフォンダーションモデルは、構造設計、配列設計、コンformational ダイナミクスを含むさまざまな生成タスクにおいて、どのように性能を発揮するか？
• RQ2 モデルの出力はどの程度新規性、多様性、構造的品質を示しており、これらの指標はモデルアーキテクチャによってどのように変動するか？
• RQ3 MSA のサブサンプリングや配列の変更といった入力の摂動に対して、タンパク質のフォンダーションモデルはどの程度耐性を示すか？
• RQ4 4つの評価次元（品質、新規性、多様性、耐性）におけるモデル性能に影響を与える主なアーキテクチャ的要因とデータ関連要因は何か？
• RQ5 マルチモーダルモデルは、単一モーダルモデルと比較して、複雑な配列-構造-機能関係をどの程度的確に捉えられるか？

主な発見

• タンパク質のフォンダーションモデルは3次元構造予測において優れた性能を示しており、AlphaFold2 や ESMFold は高い pLDDT および pTM スコアを達成しているが、コンformational ダイナミクスタスクでは顕著なばらつきが見られた。
• Str2Str や AlphaFlow/ESMFlow などのモデルは、コンformational サンプリングにおいて優れた性能を示し、従来のモデルと比較して CA-clash や PepBond-break のレートが低かった。
• 一部のモデルで生成された配列の多く（場合によっては最大30％）がトレーニングデータと低い同一性を示しており、これは高い新規性を示しているが、構造的品質と必ずしも相関しないことが判明した。
• 多様性指標の分析から、ConfDiff や Str2Str などのモデルはより構造的に異なるコンformation を生成しており、コンformational ランドスケープのより良い探索が可能であると示唆された。
• 耐性分析から、OpenFold や AlphaFold2 などのモデルは MSA のサブサンプリングによって著しく性能が低下することが判明し、入力データの品質に敏感であることが明らかになった。
• ベンチマークは、特にコンformational ダイナミクスや抗体設計の分野において、標準化された指標が不足しているという現在の評価のギャップを特定した。これらの分野には、以前に同様のベンチマークが存在しなかった。