[論文レビュー] Protein Language Models and Structure Prediction: Connection and Progression

Bozhen Hu, Jun Xia+5 more|arXiv (Cornell University)|Nov 30, 2022

Machine Learning in Bioinformatics被引用数 21

ひとこと要約

タンパク質言語モデル（pLM）とタンパク質構造予測（PSP）を結ぶ体系的な調査。アーキテクチャ、事前学習、データベース、応用、将来の方向性を詳述。

ABSTRACT

The prediction of protein structures from sequences is an important task for function prediction, drug design, and related biological processes understanding. Recent advances have proved the power of language models (LMs) in processing the protein sequence databases, which inherit the advantages of attention networks and capture useful information in learning representations for proteins. The past two years have witnessed remarkable success in tertiary protein structure prediction (PSP), including evolution-based and single-sequence-based PSP. It seems that instead of using energy-based models and sampling procedures, protein language model (pLM)-based pipelines have emerged as mainstream paradigms in PSP. Despite the fruitful progress, the PSP community needs a systematic and up-to-date survey to help bridge the gap between LMs in the natural language processing (NLP) and PSP domains and introduce their methodologies, advancements and practical applications. To this end, in this paper, we first introduce the similarities between protein and human languages that allow LMs extended to pLMs, and applied to protein databases. Then, we systematically review recent advances in LMs and pLMs from the perspectives of network architectures, pre-training strategies, applications, and commonly-used protein databases. Next, different types of methods for PSP are discussed, particularly how the pLM-based architectures function in the process of protein folding. Finally, we identify challenges faced by the PSP community and foresee promising research directions along with the advances of pLMs. This survey aims to be a hands-on guide for researchers to understand PSP methods, develop pLMs and tackle challenging problems in this field for practical purposes.

研究の動機と目的

• タンパク質配列が自然言語のように扱われ、LMがPSPに適用可能な理由を説明する。
• pLMのネットワークアーキテクチャ、事前学習戦略、PSPにおける適用を調査する。
• 一般的に使用されるタンパク質データベースと事前学習での役割を要約する。
• pLMベースのアーキテクチャがPSPパイプラインと折りたたみ機構にどのように統合されるかを議論する。
• pLMsとPSPの今後の研究で課題を特定し、有望な方向性を提案する。

提案手法

• 既存のタンパク質言語モデル（pLMs）とその事前学習方法を整理・分類する。
• pLMsがPSPパイプラインと構造特徴学習にどのように組み込まれるかを分析する。
• 進化ベースと単一配列ベースのPSPアプローチをpLMsの文脈で比較する。
• 事前学習用に使用されるタンパク質データベースとデータ資源を要約する。
• 制限を強調し、将来の傾向を予測する。

実験結果

リサーチクエスチョン

• RQ1 pLMsはデータ、表現、目的の点で従来のPSP手法とどのように関連するのか？
• RQ2 PSPタスクに対して最も効果的なアーキテクチャの選択と事前学習戦略は何か？
• RQ3 pLM開発をPSPの基盤とする主要なデータベースとデータ資源は何か？
• RQ4 pLMベースのPSP手法の現在の限界は何で、将来の方向性は有望か？

主な発見

• pLMsは大規模なタンパク質配列データを活用して構造と機能予測に有用な表現を学習する。
• 多様なデータベースでの事前学習と組み合わせたTransformerベースのpLMsがPSPの進展を促し、単一配列および進化ベースのアプローチを含む。
• さまざまな事前学習戦略（例：マスク化言語モデリング）とアーキテクチャ（RNN/LSTM対 Transformer）を用いてタンパク質の依存関係を捉える。
• pLMsは進化情報が限られている、または使えない文脈でPSPパイプラインを可能にする。
• この調査は抗体、タンパク質複合体、タンパク質-リガンド、タンパク質- RNA構造関連タスクの手法を統合する。
• 課題にはタンパク質配列のトークン化、ラベル付きデータの制限、統合されたマルチモーダルデータの必要性が含まれる。