[論文レビュー] Pre-Training Protein Encoder via Siamese Sequence-Structure Diffusion Trajectory Prediction

Zuobai Zhang, Minghao Xu+4 more|arXiv (Cornell University)|Jan 28, 2023

Machine Learning in Bioinformatics被引用数 11

ひとこと要約

本論文は、DiffPreTを用いてシーケンスと構造の共同拡散によりタンパク質エンコーダを事前学習させ、SiamDiffはサイアンス diffusion trajectories による構造体相関を捉え、ダウンストリームタスクで平均ランクの最先端を達成します。

ABSTRACT

Self-supervised pre-training methods on proteins have recently gained attention, with most approaches focusing on either protein sequences or structures, neglecting the exploration of their joint distribution, which is crucial for a comprehensive understanding of protein functions by integrating co-evolutionary information and structural characteristics. In this work, inspired by the success of denoising diffusion models in generative tasks, we propose the DiffPreT approach to pre-train a protein encoder by sequence-structure joint diffusion modeling. DiffPreT guides the encoder to recover the native protein sequences and structures from the perturbed ones along the joint diffusion trajectory, which acquires the joint distribution of sequences and structures. Considering the essential protein conformational variations, we enhance DiffPreT by a method called Siamese Diffusion Trajectory Prediction (SiamDiff) to capture the correlation between different conformers of a protein. SiamDiff attains this goal by maximizing the mutual information between representations of diffusion trajectories of structurally-correlated conformers. We study the effectiveness of DiffPreT and SiamDiff on both atom- and residue-level structure-based protein understanding tasks. Experimental results show that the performance of DiffPreT is consistently competitive on all tasks, and SiamDiff achieves new state-of-the-art performance, considering the mean ranks on all tasks. Our implementation is available at https://github.com/DeepGraphLearning/SiamDiff.

研究の動機と目的

• モデル化するタンパク質配列と構造の結合分布を拡散を用いて学習し、有益な表現を獲得する。
• コンフォメーションの多様性をSiamese diffusion trajectory予測で取り入れて、コンフォメーション間の相関を捉える。
• 原子レベルおよび残基レベルの構造ベースのタスクで事前学習済みエンコーダを評価し、一般化性と頑健性を評価する。
• 提案手法が既存の事前学習アプローチと比較して、様々なダウンストリームタスクで競争力がある、または上回ることを示す。

提案手法

• DiffPreT はタンパク質の配列と構造に対して共同拡散を行い、タンパク質エンコーダでパラメータ化されたノイズ予測ネットワークを訓練する。
• フォワード拡張は3D座標にガウスノイズを付与し、配列にはマスクされたトークン拡散を適用する。リバースはSE(3)-不変/協変表現を用いる。
• 目的関数は構造損失と配列損失に分解されたELBOで、構造はノイズに対する回帰損失、配列はクロスエントロピーに簡略化される。
• SiamDiff は捻動角摂動を介して相関したコンフォマーのペアを生成し、それらの拡散軌跡間の相互情報を相互デノイズによって最大化する。
• 粗い特徴と細かな特徴を捉えるため、2段階のノイズスケジュール（大きなノイズを先行させ、その後小さなノイズ）を採用する。
• 最終目的は4つの損失項を結合し、両方のコンフォマーおよび両方のモダリティ間での軌跡横断デノイズを強制する。）
• research_questions: [
• research_questions.

実験結果

リサーチクエスチョン

• RQ1 配列と構造の結合拡散モデルは、共進化的な配列情報と詳細な構造特性の両方を捉える表現を学習できるか？
• RQ2 Conform­er aware SiamDiff を導入することは、DiffPreTや既存のベースラインを超えるダウンストリームのタンパク質理解タスクを改善するか？
• RQ3 2段階のノイズスケジュールは、多モーダルなタンパク質表現の学習にどのように影響するか？
• RQ4 サイアム拡散軌跡がタスク間での構造の相関を捉える上で、原子レベルおよび残基レベルの性能にどのような影響を与えるか？

主な発見

• DiffPreT は原子レベルおよび残基レベルのタスクで競争力のある性能を示す。
• SiamDiff は評価されたタスクで新しい平均ランクの最先端を達成する。
• 原子レベル: SiamDiff Mean Rank = 1.2 vs DiffPreT = 2.4。
• 残基レベル: SiamDiff Mean Rank = 1.2 vs DiffPreT = 3.2。
• 総じて、SiamDiff は平均ランクを改善し、タスク間での強い一般化を示す。