[論文レビュー] Leveraging Multi-modal Representations to Predict Protein Melting Temperatures

Daiheng Zhang, Yan Zeng+2 more|arXiv (Cornell University)|Dec 5, 2024

Protein Structure and DynamicsBiochemistry, Genetics and Molecular Biology被引用数 3

ひとこと要約

本稿では、タンパク質言語モデル（特にESM3、ESM2、OpenFold）に加え、配列および構造的特徴を統合したマルチモodalなディープラーニングフレームワーク、ESM3-DTmを提案する。ESM3のバックボーンを配列および構造入力を用いて微調整することで、s571テストセットにおいて0.50の新しいSOTA（状態の最良）ピアソン相関係数を達成し、$Δ T_m$予測におけるマルチモーダル表現の優位性を示している。

ABSTRACT

Accurately predicting protein melting temperature changes (Delta Tm) is fundamental for assessing protein stability and guiding protein engineering. Leveraging multi-modal protein representations has shown great promise in capturing the complex relationships among protein sequences, structures, and functions. In this study, we develop models based on powerful protein language models, including ESM-2, ESM-3 and AlphaFold, using various feature extraction methods to enhance prediction accuracy. By utilizing the ESM-3 model, we achieve a new state-of-the-art performance on the s571 test dataset, obtaining a Pearson correlation coefficient (PCC) of 0.50. Furthermore, we conduct a fair evaluation to compare the performance of different protein language models in the Delta Tm prediction task. Our results demonstrate that integrating multi-modal protein representations could advance the prediction of protein melting temperatures.

研究の動機と目的

• マルチモーダルタンパク質表現を用いて、タンパク質融解温度変化（$\Delta T_m$）の予測精度を向上させること。
• ESM2、ESM3、OpenFoldといった異なるタンパク質言語モデルが、$\Delta T_m$ に関連する配列および構造的特徴をどれほど効果的に捉えられるかを評価すること。
• 構造情報の統合およびファインチューニング戦略が予測性能に与える影響を調査すること。
• 過学習を防ぐためにトレーニングデータを再分割することで、$\Delta T_m$ 予測の公平なベンチマークを確立すること。
• ワイルドタイプおよび変異タンパク質表現を統合するためのさまざまな回帰ヘッドアーキテクチャを比較すること。

提案手法

• モデルは主にESM3をバックボーンとして用い、タンパク質配列および3次元構造を統合して統一された埋め込みを生成する。
• ESM3およびESM2バックボーンの場合、グローバルな文脈を表すCLS埋め込みと、局所的特徴を表す変異部位の埋め込みを抽出する。
• OpenFoldの場合、Evoformerおよび構造モジュールの出力をグローバル埋め込みとして用い、変異部位の表現を局所的特徴として利用する。
• 2つの統合戦略を適用する：ワイルドタイプおよび突然変異体の埋め込みの外積と線形結合を用いて、$Δ T_m$ を予測する。
• すべてのモデルパラメータに対してエンドツーエンドのファインチューニングを実施し、勾配クリッピングとOneCycle学習率スケジュールを適用する。
• 最終的な予測のロバスト性を向上させるために、最も性能の良い回帰ヘッドのアンサンブルを用いる。

実験結果

リサーチクエスチョン

• RQ1 配列と3次元構造を統合したマルチモーダルタンパク質表現は、$Δ T_m$ 予測精度を顕著に向上させることができるか？
• RQ2 ESM2、ESM3、OpenFoldといった異なるタンパク質言語モデルは、$Δ T_m$ 予測において、それぞれどの程度の性能を示すか？
• RQ3 バックボーンネットワークをファインチューニングすることで、固定した場合に比べて性能が向上するか？
• RQ4 外積や線形結合といった回帰ヘッドアーキテクチャ（例：外積、線形結合）のうち、どの構造が最も正確な$Δ T_m$ 予測をもたらすか？
• RQ5 データ分割戦略の影響は、モデルの汎化性能および性能評価にどのような影響を及えるか？

主な発見

• ESM3-DTmはs571テストセットにおいてピアソン相関係数（PCC）0.50を達成し、$Δ T_m$ 予測の新しいSOTAを樹立した。
• 平均絶対誤差（MAE）を5.21、平均二乗誤差（RMSE）を7.68にまで低減し、GeoDTm-3D や GeoStab よりも優れた性能を示した。
• マルチモーダルなESM3-DTmは、シーケンスのみのモデルを著しく上回り、PCCは0.01向上、MAEは0.10低下した（ESM3-DTm（シーケンスのみ）と比較）。
• ESM2-650Mバックボーンをファインチューニングした場合、PCCは0.48を記録したが、バックボーンを固定した場合の0.46と比較して、パラメータ全体のファインチューニングの利点が明確に示された。
• 変異部位埋め込みの外積と線形結合の両方が、回帰ヘッドの中で最高の性能を示し、PCCはそれぞれ0.41および0.40を記録した。
• OpenFold-DTmは性能が低く（PCC=0.35）、「OpenFoldは構造予測に優れているが、本設定では$Δ T_m$ 予測にはあまり効果的でない」と示唆された。