[論文レビュー] Enhancing the efficiency of protein language models with minimal wet-lab data through few-shot learning

Ziyi Zhou, Liang Zhang+4 more|arXiv (Cornell University)|Feb 3, 2024

Machine Learning in BioinformaticsBiochemistry, Genetics and Molecular Biology被引用数 3

ひとこと要約

本論文は、単一部位突然変異の湿潤実験測定値を数十個程度のわずかなデータのみを用いて、タンパク質言語モデルの性能を向上させる、FSFPと呼ばれる少データ微調整戦略を提案する。メタ転送学習、順序学習（learning-to-rank）、パラメータ効率の良い微調整を組み合わせることで、FSFPは87のデプト・ミュテーションスキャンデータセットにおいて、極めて限られたデータ量の下でも予測精度を顕著に向上させ、無教師学習および教師あり学習のベースラインを上回る性能を示す。

ABSTRACT

Accurately modeling the protein fitness landscapes holds great importance for protein engineering. Recently, due to their capacity and representation ability, pre-trained protein language models have achieved state-of-the-art performance in predicting protein fitness without experimental data. However, their predictions are limited in accuracy as well as interpretability. Furthermore, such deep learning models require abundant labeled training examples for performance improvements, posing a practical barrier. In this work, we introduce FSFP, a training strategy that can effectively optimize protein language models under extreme data scarcity. By combining the techniques of meta-transfer learning, learning to rank, and parameter-efficient fine-tuning, FSFP can significantly boost the performance of various protein language models using merely tens of labeled single-site mutants from the target protein. The experiments across 87 deep mutational scanning datasets underscore its superiority over both unsupervised and supervised approaches, revealing its potential in facilitating AI-guided protein design.

研究の動機と目的

• タンパク質適合度のランドスケープを予測する際の事前学習済みタンパク質言語モデルの性能および解釈可能性の限界を是正すること。
• モデルの微調整に大量のラベル付き実験データを必要とする実務的障壁を克服すること。
• 具体的には、単一部位突然変異の測定値をわずか数十個程度に制限した状況でも高い性能を達成できる訓練戦略を開発すること。
• データが限られる状況下でも、タンパク質言語モデルの効率性と一般化能力を向上させること。
• メタ学習、順序損失、パラメータ効率の良い微調整を統合し、最小限のデータでターゲットタンパク質に最適に適応できるようにすること。

提案手法

• FSFPは、新しいタンパク質に対して少数のラベル付き例でのみ迅速に適応可能なメタ転送学習を採用している。
• モデルの予測がタンパク質バリアントの相対的適合度順序と一致するように、順序学習（learning-to-rank）損失関数を組み込んでいる。
• パラメータ効率の良い微調整技術を用いて、モデルパラメータのわずかなサブセットのみを更新することで、計算コストを低減し、過学習のリスクを軽減している。
• 異なるターゲットタンパク質や突然変異タイプに一般化できるように、多様なタンパク質ファミリーで訓練している。
• 事前学習済みタンパク質言語モデルをバックボーンとして用い、デプト・ミュテーションスキャン実験から得られる最小限のラベル付きデータで微調整している。
• スケーラブルで、実験的検証が限られたさまざまなタンパク質工学的タスクに応用可能なフレームワークとして設計されている。

実験結果

リサーチクエスチョン

• RQ1 わずか数十個のラベル付き単一部位突然変異体を用いて、タンパク質言語モデルが適合度ランドスケープの予測精度を高く達成できるか。
• RQ2 メタ学習、順序損失、パラメータ効率の良い微調整を組み合わせることで、データが限られる状況下でのモデル一般化性能がどのように向上するか。
• RQ3 FSFPは、無教師学習の事前学習と完全に教師ありの微調整の両方を上回る性能を示すか。
• RQ4 FSFPは、極めて少ない実験データで、多様なタンパク質ファミリーおよび突然変異タイプにどれほど一般化できるか。
• RQ5 順序学習損失の統合により、モデルの解釈可能性およびタンパク質適合度スコアの順位付け性能が向上するか。

主な発見

• FSFPは、わずか10～50個のラベル付き単一部位突然変異体を用いても、87のデプト・ミュテーションスキャンデータセットにおいてタンパク質適合度予測の精度を顕著に向上させた。
• 特にデータが少ない状況下では、無教師学習の事前学習と標準的な教師あり微調整を上回る性能を示した。
• 複数のベンチマークデータセットにおいて最先端の性能を達成し、多様なタンパク質ファミリーにわたる優れた一般化能力を示した。
• 順序学習損失の使用により、生物学的適合度順序との整合性が高まり、モデル予測の解釈可能性が向上した。
• パラメータ効率の良い微調整により、最小限の計算負荷で効果的な適応が可能となり、過学習のリスクも低減された。
• メタ学習により、新しいタンパク質への迅速な適応が可能であり、少データシナリオにおける本手法の堅牢性が裏付けられた。