[論文レビュー] CCPL: Cross-modal Contrastive Protein Learning

Jiangbin Zheng, Stan Z. Li|arXiv (Cornell University)|Mar 19, 2023

Machine Learning in Bioinformatics被引用数 4

ひとこと要約

本稿では、配列と3次元構造の間のクロスモーダル対応による、事前学習済みタンパク質言語モデルを用いて構造モデルの事前学習をガイドする、CCPLと呼ばれる新しい非教師付き対照的タンパク質学習フレームワークを提案する。自己教師付き接触マップ予測損失を導入し、内部的（接触マップ予測、リtrievalアライメント）および外部的（タンパク質設計）タスクで評価することで、自己符号化のパーセプレキシティが低く、より高い配列回復性能を達成し、構造表現学習における優れた汎化性と頑健性を示した。

ABSTRACT

Effective protein representation learning is crucial for predicting protein functions. Traditional methods often pretrain protein language models on large, unlabeled amino acid sequences, followed by finetuning on labeled data. While effective, these methods underutilize the potential of protein structures, which are vital for function determination. Common structural representation techniques rely heavily on annotated data, limiting their generalizability. Moreover, structural pretraining methods, similar to natural language pretraining, can distort actual protein structures. In this work, we introduce a novel unsupervised protein structure representation pretraining method, cross-modal contrastive protein learning (CCPL). CCPL leverages a robust protein language model and uses unsupervised contrastive alignment to enhance structure learning, incorporating self-supervised structural constraints to maintain intrinsic structural information. We evaluated our model across various benchmarks, demonstrating the framework's superiority.

研究の動機と目的

• 実空間構造表現を損なうことを避けつつ、一般化可能で非教師付きのタンパク質構造事前学習手法の不足に取り組むこと。
• 大規模に事前学習されたタンパク質言語モデルが持つ豊富な事前知識を活用し、タンパク質構造表現学習の初期化とガイドラインとすること。
• ラベルなしデータを必要とせず、内在的な構造的知識の学習を強化する自己教師付き構造的制約を構築すること。
• 内部タスクと下流タスクを統合した包括的な評価プロトコルを設計し、事前学習済み構造モデルの頑健性と一般化能力を検証すること。
• 配列と構造モダリティ間のクロスモーダル対照的アライメントが、効果的でスケーラブルかつ一般化可能なタンパク質構造表現学習を可能にすることを示すこと。

提案手法

• フレームワークは、配列と構造表現の間の非教師付き対照的アライメントを通じて、事前学習済みタンパク質言語モデルを用いてタンパク質構造モデルの学習をガイドする。
• ランダムな構造-配列ペアのミニバッチを構築し、対照学習用のポジティブおよびネガティブサンプルを生成することで、クロスモーダルアライメントを実現する。
• 仮想のCβ原子をN、Cα、O原子から計算することで、潜在空間における構造的一致性を強制する自己教師付き接触マップ予測ヘッドを導入する。
• 言語モデルが強いインダクティブバイアスを提供する対照損失を用いて、エンドツーエンドでモデルを訓練する。
• 構造エンコーダーは、接触マップ予測ヘッドと共同最適化され、内在的な構造トポロジーや空間的関係を保持する。
• 評価には、内部タスク（接触マップ予測、リtrievalアライメント）と外部の下流タスク（非自己回帰的タンパク質設計）を含め、表現品質および一般化能力を評価する。

実験結果

リサーチクエスチョン

• RQ1 ラベルなしデータを必要とせず、事前学習済みタンパク質言語モデルがタンパク質構造モデルの事前学習を効果的にガイドできるか。
• RQ2 タンパク質配列と3次元構造の間のクロスモーダル対照的アライメントが、構造表現の一般化性と頑健性を向上させるか。
• RQ3 自己教師付き接触マップ予測ヘッドは、外部のアノテーションなしでモデルの構造的インダクティブバイアスを強化できるか。
• RQ4 本手法は、シーケンス回復とパーセプレキシティの観点から、既存手法と比較して下流のタンパク質設計タスクでどのように性能を発揮するか。
• RQ5 対照的アライメント損失は、シーケンスと構造の埋め込み空間間のアライメントをどの程度向上させるか。

主な発見

• 残基レベルおよびタンパク質レベルの事前学習モデルは、接触マップ予測において高いP@L精度（大多数のデータセットで90％以上）を達成し、強力な構造表現学習を示した。
• タンパク質レベルのモデルは、より高い精度と低いKLダイバージェンスを示し、効果的なクロスモーダルアライメントを確認した。
• 下流のタンパク質設計タスクにおいて、ProteinMPNN や GVP-Transformer といった強力なベースラインと比較して、より低いパーセプレキシティとより高いシーケンス回復性能を達成した。
• 非自己回帰的デコーダーにより、高速なサンプリング速度を維持しながら高い性能を発揮し、効率性とスケーラビリティを示した。
• 事前学習済み構造モデルを微調整することで、非事前学習バックボーンに比べて性能が顕著に向上し、強力な一般化能力を確認した。
• 微調整の過程で、残基レベルとタンパク質レベルの事前学習モデル間の性能差が縮小したため、効果的な知識移譲が行われたと示唆された。