[論文レビュー] Protein structure generation via folding diffusion

Kevin Wu, Kevin Yang+4 more|arXiv (Cornell University)|Sep 30, 2022

Protein Structure and Dynamics被引用数 34

ひとこと要約

FoldingDiffは拡散ベースのモデルで、残基ごとに6つの内部角度をデノイズしてタンパク質バックボーン構造を生成し、デカルト座標と等変性ネットワークを回避することで、現実的で設計可能なバックボーンを得る。

ABSTRACT

The ability to computationally generate novel yet physically foldable protein structures could lead to new biological discoveries and new treatments targeting yet incurable diseases. Despite recent advances in protein structure prediction, directly generating diverse, novel protein structures from neural networks remains difficult. In this work, we present a new diffusion-based generative model that designs protein backbone structures via a procedure that mirrors the native folding process. We describe protein backbone structure as a series of consecutive angles capturing the relative orientation of the constituent amino acid residues, and generate new structures by denoising from a random, unfolded state towards a stable folded structure. Not only does this mirror how proteins biologically twist into energetically favorable conformations, the inherent shift and rotational invariance of this representation crucially alleviates the need for complex equivariant networks. We train a denoising diffusion probabilistic model with a simple transformer backbone and demonstrate that our resulting model unconditionally generates highly realistic protein structures with complexity and structural patterns akin to those of naturally-occurring proteins. As a useful resource, we release the first open-source codebase and trained models for protein structure diffusion.

研究の動機と目的

• 新規で折り畳み可能なタンパク質バックボーンの計算生成を動機づける。
• モデリングを簡便にする生物学的にインスパイアされた角度表現を導入する。
• 現実的なバックボーン構造の無条件生成を実証する。
• 逆折り畳みと構造予測ツールを用いた生成構造の設計可能性を示す。
• タンパク質折り畳み拡散のオープンソースコードと訓練済みモデルをリリースする。

提案手法

• 各残基を6つの連続したバックボーン角度（phi, psi, omega, theta1, theta2, theta3）で表し、チェーン内の次の残基を特定する。
• Angularデータ上のpξ(xt−1|xt)をモデル化するために、vanilla Transformerを用いたデノイジング拡散確率モデル（拡散モデル）を用いる。
• 前方過程は角度データに対してwrapされたガウスノイズを使用; 逆過程はノイズから構造化角度へとデノイズする。
• 角度出力を[-π, π)にラップし、周期性を扱うためwrapされたスムーズL1損失を適用する。
• 80/10/10分割のCATH重複排除バックボーンデータセットと128残基ウィンドウで訓練；コサイン分散スケジュール（T=1000）とAdamWオプティマイザを使用。
• 展開されていない状態から折り畳み状態へと角度を反復的に refine するサンプリング手順（FoldingDiff）を提供する。

実験結果

リサーチクエスチョン

• RQ1 無条件拡散がタンパク質バックボーン角の現実的な分布を生成できるか？
• RQ2 生成された角度構成はRamachandran空間の自然な二次構造モチーフ（例：ヘリックス、シート）に対応するか？
• RQ3 生成されたバックボーンは設計可能か、すなわち逆折り畳みと構造予測を用いて配列によって実現できるか？
• RQ4 内部角度表現を使用することが生成のキラリティと等変性要件に及ぼす影響は何か？

主な発見

• 生成された角度分布は6つのすべての角度でテストセット分布と密接に一致する。
• Ramachandran分析は生成バックボーンが3つの主要領域（右手系ヘリックス、左手系ヘリックス、β-シート）を再現し、キラリティを尊重することを示している。
• 生成されたバックボーンの177/780がProteinMPNNとOmegaFoldを用いて設計可能（scTM ≥ 0.5）である（22.7%）。”,
• Designabilityは長さとともに変化する。 shorter structures (≈70 residues) tend to have higher designability.
• トレーニングデータに近い構造ほど設計可能性が高くなる傾向がある（トレーニングセットへのTM-scoreが高い）。
• 生成されるバックボーンの多様性は高く、ほぼ記憶された典型だけに限定されず広範な構造多様性を示唆する。