[論文レビュー] DiffPack: A Torsional Diffusion Model for Autoregressive Protein Side-Chain Packing

Yangtian Zhan, Zuobai Zhang+3 more|arXiv (Cornell University)|Jun 1, 2023

Protein purification and stability被引用数 16

ひとこと要約

DiffPack は、4個の側鎖ねじれ角の結合分布をモデル化することによってタンパク質の側鎖立体配座を予測する自己回帰型ねじれ拡散モデルを導入し、はるかに少ないパラメータで最先端の角度精度を達成し、AlphaFold2 の側鎖予測を改善します。

ABSTRACT

Proteins play a critical role in carrying out biological functions, and their 3D structures are essential in determining their functions. Accurately predicting the conformation of protein side-chains given their backbones is important for applications in protein structure prediction, design and protein-protein interactions. Traditional methods are computationally intensive and have limited accuracy, while existing machine learning methods treat the problem as a regression task and overlook the restrictions imposed by the constant covalent bond lengths and angles. In this work, we present DiffPack, a torsional diffusion model that learns the joint distribution of side-chain torsional angles, the only degrees of freedom in side-chain packing, by diffusing and denoising on the torsional space. To avoid issues arising from simultaneous perturbation of all four torsional angles, we propose autoregressively generating the four torsional angles from $χ_1$ to $χ_4$ and training diffusion models for each torsional angle. We evaluate the method on several benchmarks for protein side-chain packing and show that our method achieves improvements of $11.9\%$ and $13.5\%$ in angle accuracy on CASP13 and CASP14, respectively, with a significantly smaller model size ($60 imes$ fewer parameters). Additionally, we show the effectiveness of our method in enhancing side-chain predictions in the AlphaFold2 model. Code is available at https://github.com/DeepGraphLearning/DiffPack.

研究の動機と目的

• 固定バックボーン構造が与えられた状態での側鎖立体配座の予測課題に動機づけ、これに対処する。
• 側鎖パッキングの正確な自由度をデカルト座標ではなくねじれ角（トーション角）としてモデル化する。
• SE(3)不変のガイダンスを用いて、側鎖のトーション χ1–χ4 を生成する自己回帰拡散フレームワークを提案する。
• CASP13/CASP14 ベンチマークと非ネイティブバックボーン上で評価し、精度と効率を示す。

提案手法

• トーション空間で側鎖の立体配座をモデル化し、変数を4つのトーション角 χ1–χ4（残基ごとのカウントを含む）に削減する。
• トーション空間で前方の Variance-Exploding SDE を適用し、トーション領域でデノイズするスコア関数を学習する。
• 各 χi に対して別個の拡散モデルを用い、自己回帰的因子分解 p(χ1,χ2,χ3,χ4)=p(χ1)·p(χ2|χ1)·p(χ3|χ1,χ2)·p(χ4|χ1,χ2,χ3) を適用する。
• バックボーンと部分的に生成された側鎖からトーション角を予測するため、GearNet-Edge に基づく SE(3)-不変のスコアネットワークを採用する。
• トレーニング時にはターゲットのトーション角に対する撹乱を分離し累積的な歪みを防ぐため、teacher-forcing を採用する。
• 多ラウンドデノイジング、アニール温度サンプリング、および高品質な立体配座を選択する信頼モデルを用いてサンプリングを強化する。
• 等価なトーション状態を考慮するため、π-回転対称性を扱い拡散カーネルを調整する。

Figure 1 : Overview of DiffPack. Given a protein sequence and backbone structure, we aim to model the conditional distribution of side-chain conformation. (A) Distribution of side-chain conformation is modeled through diffusion process in torsion space $\mathbb{T}^{m}$ . An SE(3)-invariant network i

実験結果

リサーチクエスチョン

• RQ1 共価結合の制約をCartesian座標アプローチよりもトーション空間でモデル化することで、側鎖パッキングはよりよく守れるだろうか？
• RQ2 χ1–χ4 を自己回帰的に拡散させることは、4つすべての角度に対する結合拡散と比較して、生成の安定性と精度を向上させるか？
• RQ3 CASP13/14 および非ネイティブバックボーン（例：AlphaFold2）における DiffPack の性能は、最先端手法と比べてどうか？
• RQ4 DiffPack のモデルサイズは、精度を維持または向上させつつ著しく小さくなっているか？
• RQ5 サンプリングの改善（多ラウンド、アニーリング、信頼モデル）は推論品質を向上させるか？

主な発見

• DiffPack は CASP13 および CASP14 で、それぞれ角度精度を11.9%と13.5%向上させる。
• 本モデルは先行の最先端手法 AttnPacker より約60倍少ないパラメータを使用する。
• DiffPack は CASP13/14 で χ1–χ4 および全体・個々の残基カテゴリで最良の Angle MAE と Angle Accuracy を達成する。
• AlphaFold2 の非ネイティブバックボーン上で、DiffPack はほとんどの指標で AlphaFold2 および他のベースラインを一貫して上回る。
• 自己回帰拡散（χ1→χ4）は、結合拡散およびランダム拡散のベースラインよりも、学習の安定性と最終品質の点で優れている。
• 本手法は化学的妥当性（結合長・角度）を保持し、π–πスタッキングのような相互作用を追加の事前情報なしに明らかにすることができる。

Figure 2 : Illustration of four torsional angles.