[論文レビュー] Learning the Language of Protein Structure

Benoit Gaujac, Jérémie Donà+4 more|arXiv (Cornell University)|May 24, 2024

Biomedical Text Mining and Ontologies被引用数 5

ひとこと要約

ベクトル量子化オートエンコーダを導入し、タンパク質構造をトークン様コードへ離散化、設計されたタンパク質 backbone のシーケンスモデルベース生成を可能にする。学習済みコードブックで訓練されたGPTモデルにより、de novo 構造生成が競合的に示される。

ABSTRACT

Representation learning and \emph{de novo} generation of proteins are pivotal computational biology tasks. Whilst natural language processing (NLP) techniques have proven highly effective for protein sequence modelling, structure modelling presents a complex challenge, primarily due to its continuous and three-dimensional nature. Motivated by this discrepancy, we introduce an approach using a vector-quantized autoencoder that effectively tokenizes protein structures into discrete representations. This method transforms the continuous, complex space of protein structures into a manageable, discrete format with a codebook ranging from 4096 to 64000 tokens, achieving high-fidelity reconstructions with backbone root mean square deviations (RMSD) of approximately 1-5 Å. To demonstrate the efficacy of our learned representations, we show that a simple GPT model trained on our codebooks can generate novel, diverse, and designable protein structures. Our approach not only provides representations of protein structure, but also mitigates the challenges of disparate modal representations and sets a foundation for seamless, multi-modal integration, enhancing the capabilities of computational methods in protein design.

研究の動機と目的

• 3Dタンパク質構造を離散的な連続表現に変換してシーケンスモデリングを可能にする。
• タンパク質構造のための離散的で潜在空間が有限のコードブックを学習する。
• 高い再構成忠実度を達成（RMSD ~1-5 Å）で、スケーラブルなトークン語彙を提供する。
• 学習済みコードブック上でGPTモデルを訓練して新規で設計可能なタンパク質構造を生成するという下流ユーティリティを示す。

提案手法

• バックボーン座標(N-Cα-C-O)を3層MPNNベースのグラフエンコーダでエンコードし、ダウンサンプリングされた残基の埋め込みを生成する。
• 有限スカラー量子化(FSQ)を用いて潜在埋め込みを離散化し、コードブック（最大64kコード）を形成する。
• AlphaFoldのフレーミングに着想を得た構造モジュールを用いて、quantized latent codesから3Dバックボーン座標へデコードし、Frame Align Point Error (FAPE) lossで最適化する。
• 約310k個のPDBエントリで訓練し、増強のようなダウンサンプリングと回転不変特徴を用いてフレームアラインメントと堅牢な再構成を確保。
• RMSDとTM-scoreで再構成を評価し、トークン化された構造上でデコーダーのみのGPTを訓練して生成能力を示す。
• 公開コードを提供し、生成品質を特殊な拡散モデル（FrameDiff, RFDiffusion）と比較する。

実験結果

リサーチクエスチョン

• RQ1 有限のトークンボキャブラリに情報喪失を生じることなくタンパク質構造を効果的に離散化できるか？
• RQ2 離散潜在空間はデフォルトのシーケンスモデル（例：GPT）を用いたde novoタンパク質構造生成に有効か？
• RQ3 ベクトル量子化オートエンコーダでコードブックサイズとダウンサンプリングを変えると再構成忠実度と設計可能性のトレードオフはどうなるか？
• RQ4 生成された構造は設計可能性、独創性、多様性の点で参照データとどう比較されるか？

主な発見

Downsampling Ratio	Number of Codes	Compression Factor	RMSD (Å)	TM-Score (↑)
1	4096	48	1.89 Å	0.93
1	64000	48	1.59 Å	0.95
-	-	-	0.97 Å	0.98
2	4096	96	2.79 Å	0.87
2	64000	96	2.31 Å	0.91
2	-	-	1.45 Å	0.95
4	4096	144	4.63 Å	0.79
4	64000	144	3.23 Å	0.85
4	-	-	2.19 Å	0.91

• ダウンサンプリングなし（r=1）で64kのコードブックはテスト構造で約1.59 Å RMSDとTM-score 0.95を達成。
• 量子化はコードブックの崩壊を引き起こさず、より大きなコードブックは再構成を改善しつつ競合的な忠実度を維持。
• ダウンサンプリングと小さなコードブックは再構成誤差を増加させるが、平均でTM-scoreは0.5以上を維持し、全体的な折りたたみを保つ。
• トークン化された構造上で訓練した単純なデコーダーのみのGPTは、拡散ベースと比較して競争力のある自己整合性指標を持つ新規で設計可能なバックボーンを生成できる。
• 生成された構造は非自明な二次構造要素を示し、設計可能性評価のためのESM予測構造と良く一致する。
• FrameDiffおよびRFDiffusionと比較して、GPTベースのアプローチは設計可能性と新規性/多様性のプロファイルで競合的であり、サンプリング戦略に応じたトレードオフがある。