[論文レビュー] ProtSolM: Protein Solubility Prediction with Multi-modal Features

Yang Tan, Zheng Jia+2 more|arXiv (Cornell University)|Jun 28, 2024

Protein purification and stability被引用数 5

ひとこと要約

ProtSolM は、タンパク質配列、構造、物理化学特性を統合し、大規模なマルチモーダルデータで事前学習し、PDBSol データセットでファインチューニングして、最先端の性能でタンパク質溶解性を予測する深層学習フレームワークです。

ABSTRACT

Understanding protein solubility is essential for their functional applications. Computational methods for predicting protein solubility are crucial for reducing experimental costs and enhancing the efficiency and success rates of protein engineering. Existing methods either construct a supervised learning scheme on small-scale datasets with manually processed physicochemical properties, or blindly apply pre-trained protein language models to extract amino acid interaction information. The scale and quality of available training datasets leave significant room for improvement in terms of accuracy and generalization. To address these research gaps, we propose \sol, a novel deep learning method that combines pre-training and fine-tuning schemes for protein solubility prediction. ProtSolM integrates information from multiple dimensions, including physicochemical properties, amino acid sequences, and protein backbone structures. Our model is trained using \data, the largest solubility dataset that we have constructed. PDBSol includes over $60,000$ protein sequences and structures. We provide a comprehensive leaderboard of existing statistical learning and deep learning methods on independent datasets with computational and experimental labels. ProtSolM achieved state-of-the-art performance across various evaluation metrics, demonstrating its potential to significantly advance the accuracy of protein solubility prediction.

研究の動機と目的

• 正確なタンパク質溶解性予測がタンパク質設計を支援し、実験コストを削減する必要性を動機づける。
• シーケンス、構造、物理化学特徴を組み合わせたマルチモーダル深層学習モデル ProtSolM を導入する。
• 学習と評価のために大規模な溶解性データセット PDBSol を作成・利用する。
• 独立したデータセットで既存手法に対して最先端の性能を示す。

提案手法

• AAレベルのエンコーディングモジュールを、自己教師付き学習で事前学習し、ESM2 とロー・トランスレーション等価性GNNを用いて配列と構造の埋め込みを捉える。
• ファインチューニングモジュールは、AAレベルの表現とタンパク質レベルの手設計された物理化学特徴を組み合わせ、アテンションプーリングとpLDDTペナルティを伴う加重残差結合を使用する。
• タンパク質レベルの表現はAA埋め込みのアテンションプーリングで形成され、42個の手設計特徴と連結され、二値の溶解性予測のために全結合層を通して読み出される。
• 事前学習タスク: 多項ノイズを用いたAA型のデノイジングにより、構造感知的進化埋め込みを学習する。
• ファインチューニングデータ: PDBSol, 現時点で最大の溶解性データセット（シーケンス、構造、ラベルを含む 60,000 を超えるタンパク質）。
• モデルバリアントは、さまざまなバックボーン構成（k10/k20/k30 および隠れ層サイズ h512）を用いた ProtSolM を含む。

実験結果

リサーチクエスチョン

• RQ1 シーケンス、構造、物理化学特性を統合することで、シーケンスのみまたは構造のみのモデルを超えるタンパク質溶解性予測が可能か。
• RQ2 大規模なマルチモーダルタンパク質データで事前学習することが、独立した溶解性ベンチマークへの一般化を改善するか。
• RQ3 各構成要素（pLDDT ペナルティ、アテンションプーリング、手設計特徴）の寄与は予測性能にどの程度か。
• RQ4 ProtSolM は標準および外部の溶解性ベンチマークに対して、既存の教師ありモデルやファインチューニング済み自己教師付き言語モデルと比較してどうなるか。

主な発見

• ProtSolM は標準および外部の溶解性ベンチマークで、複数の指標において最先端の性能を達成する。
• ProtSolM のバリアント（k10/k20/k30、h512）は、標準テストデータでの精度、適合率、再現率、AUC、MCC において、ベースラインモデルを大幅に上回る。
• ProtSolM は外部テストデータセットでも強い性能を維持するが、標準テストセットほどの改善は見られない。
• アブレーション研究は、アテンションプーリングと pLDDT ペナルティ、そして手設計のタンパク質レベル特徴が性能に意味のある寄与をし、いずれかを除去すると結果が劣化することを示す。
• t-SNE 可視化は、ProtSolM が学習した表現で溶解サンプルと不溶解サンプルが分離可能であることを示し、識別可能な埋め込みを支持する。
• ProtSolM は標準テストセットで、従来の教師ありモデルとファインチューニング済み自己教師付き言語モデルの双方を上回る。