[論文レビュー] VQPL: Vector Quantized Protein Language

Zhangyang Gao, Cheng Tan+1 more|arXiv (Cornell University)|Oct 8, 2023

Natural Language Processing TechniquesComputer Science被引用数 3

ひとこと要約

本論文は、ベクトル量子化トランスフォーマー（VQProteinformer）を用いて、タンパク質配列と3次元構造を離散的潜在コード空間に統合するVQPL（Vector Quantized Protein Language）を提案する。量子化器を介してアミノ酸タイプと二面角を離散的記号に変換することで、統合的配列・構造モデリングを可能にし、再構築、予測、自己回帰的生成タスクで優れた性能を達成した。特に、ソフト量子化により構造再構築の忠実度が顕著に向上した。

ABSTRACT

Is there a foreign language describing protein sequences and structures simultaneously? Protein structures, represented by continuous 3D points, have long posed a challenge due to the contrasting modeling paradigms of discrete sequences. To represent protein sequence-structure as discrete symbols, we propose a VQProteinformer to project residue types and structures into a discrete space, supervised by a reconstruction loss to ensure information preservation. The sequential latent codes of residues introduce a new quantized protein language, transforming the protein sequence-structure into a unified modality. We demonstrate the potential of the created protein language on predictive and generative tasks, which may not only advance protein research but also establish a connection between the protein-related and NLP-related fields. The proposed method will be continually improved to unify more protein modalities, including text and point cloud.

研究の動機と目的

• タンパク質配列と3次元構造を、1つの離散的表現に統合し、統合的モデリングを可能にする。
• タンパク質モデリングにおける、シーケンス（NLPスタイル）と構造（GNNスタイル）のモダリティギャップを克服する。
• 自然言語処理と構造生物学を結ぶタンパク質表現学習を可能にする。
• 離散的タンパク質言語が予測および生成タスクにおけるタンパク質モデリングの可能性を探索する。
• 今後、テキストやポイントクラウドなどの追加モダリティ統合の基盤を築く。

提案手法

• VQProteinformerは、変形されたタンパク質配列と構造を連続的潜在表現にマップするトランスフォーマーに基づくエンコーダーを用いる。
• ベクトル量子化器（VQ）は連続的埋め込みを離散的潜在コードに変換し、離散的タンパク質言語を形成する。
• トランスフォーマーに基づくデコーダーは、再構築損失を用いて離散コードから元のシーケンスと構造を再構築する。
• タンパク質構造は回転および並進不変性を確保し、シーケンスモデリングを可能にするために二面角シーケンス（r, α, β）に変換される。
• 表現学習の向上を図るため、シーケンスおよび構造入力の両方にマスキングとノイズの導入を適用する。
• 再構築品質の向上を図るため、コードブックへの微分可能なソフト代入を導入する。

実験結果

リサーチクエスチョン

• RQ1 タンパク質配列と3次元構造は、有効に1つの離散的潜在空間に統合可能か？
• RQ2 離散的タンパク質言語は、トランスフォーマーを用いたエンドツーエンドモデリングを可能にし、従来のシーケンスおよび構造モデルと同等またはそれを上回る性能を達成できるか？
• RQ3 構造的および配列的情報の保持において、ソフト量子化はハード量子化に比べてどのように優れているか？
• RQ4 学習された離散的タンパク質言語は、下流の予測および生成タスクの性能を向上できるか？
• RQ5 離散的表現は、構造的一致性を保ったタンパク質配列の自己回帰的生成を可能にするか？

主な発見

• ソフト量子化器（Soft-2）はCATH4.3テストセットでTMScore 0.5786を達成し、バニラ量子化器（0.5592）を顕著に上回り、構造再構築の向上が示された。
• 1024コードブックを用いたバニラVQProteinformer（Vanilla-8）はTMScore 0.5743を達成し、より大きなコードブックが構造的忠実度をわずかに向上させることを示した。
• VQProteinformerの埋め込み表現は、8つのGene Ontologyおよび酵素分類タスクのうち6つでベースラインをわずかに上回り、BPタスクでF1スコア0.4380、フォールド分類でF1スコア0.8520を達成した。
• ワンステージのVQProteinformer（Vanilla-10）は、2段階のファインチューニングモデル（Soft-2 → 新規MLMエンコーダー）よりも優れた性能を示し、統合的事前学習がより効果的であることを示した。
• 可視化結果から、ソフトVQProteinformerの再構築構造は、バニラバージョンに比べて実際の構造により類似していた。
• 離散的タンパク質言語を用いた自己回帰的インpaintingにより、妥当な構造断片が生成された。これは、学習された言語の生成能力を示唆している。