[論文レビュー] Structure-Informed Protein Language Model

Zuobai Zhang, Jiarui Lu+4 more|arXiv (Cornell University)|Feb 7, 2024

Machine Learning in Bioinformatics被引用数 8

ひとこと要約

論文は Structure-Informed Protein Language Model を介してタンパク質言語モデルへ構造知識を注入し、機能注釈タスクを改善する一方で、構造情報が予測を助ける場合と妨げる場合を浮き彫りにします。

ABSTRACT

Protein language models are a powerful tool for learning protein representations through pre-training on vast protein sequence datasets. However, traditional protein language models lack explicit structural supervision, despite its relevance to protein function. To address this issue, we introduce the integration of remote homology detection to distill structural information into protein language models without requiring explicit protein structures as input. We evaluate the impact of this structure-informed training on downstream protein function prediction tasks. Experimental results reveal consistent improvements in function annotation accuracy for EC number and GO term prediction. Performance on mutant datasets, however, varies based on the relationship between targeted properties and protein structures. This underscores the importance of considering this relationship when applying structure-aware training to protein function prediction tasks. Code and model weights are available at https://github.com/DeepGraphLearning/esm-s.

研究の動機と目的

• タンパク質の構造情報を明示的な構造入力なしで言語モデルに組み込む動機づけ。
• リモートホモロジー検出を用いて ESM ベースのモデルに構造的手掛かりを蒸留。
• 構造情報を活用したモデルを機能注釈および変異体予測タスクで評価。
• 構造情報がタスク間で性能をどのように向上させるか、または妨げるかを分析。

提案手法

• リモートホモロジー検出で構造情報を注入するようにESM-2モデルをファインチューニングし、structure-informedモデル（接尾辞 -S ）を作成。
• 凍結された PLM 表現に対して二層のMLPヘッドを機能予測タスク用に訓練。
• 構造情報を用いた表現を用いたコサイン類似度ベースの検索を用いて機能を評価するリトリーバー（接尾辞 -R および -RS）。
• EC および GO の機能予測、細胞内局在、変異ベースの適合性/安定性データセットで評価。
• PLM の事前学習表現を保持するために学習率を小さく、予測ヘッドの学習率を大きく設定。

実験結果

リサーチクエスチョン

• RQ1 リモートホモロジー検出を介して構造情報を統合することは、下流のタンパク質機能予測を改善しますか？
• RQ2 構造情報を取り入れた訓練は、vanilla PLM と比較して異なるタスクカテゴリ（EC、GO、局在、変異体適合性）にどのように影響しますか？
• RQ3 構造情報を取り入れたリトリーバーは、類似タンパク質を取り出す際に機能注釈を改善しますか？
• RQ4 構造情報を用いた訓練が、変異関連タスクの性能に対していつ有利または不利に働きますか？

主な発見

• 構造情報を取り入れた ESM モデルは、EC 番号および GO 用語の機能注釈を一貫して改善する。
• 細胞内局在に関連するタスクでは、構造情報が弱い構造的影響のため妨げになる場合があり、性能向上は一定しない。
• 構造情報を用いた表現を用いたリトリーバーによる注釈は、タスクとモデルサイズを問わず一貫して改善を示す。
• 構造情報を取り入れたリトリーバーは、難易度の高い EC 注釈テストセットでベースラインを上回り、機能予測における構造的類似性の価値を示す。
• 構造情報を用いた訓練の利点は、ターゲット特性とタンパク質構造との関係に依存する。