[論文レビュー] Fast protein backbone generation with SE(3) flow matching

Jason Yim, Andrew M. Campbell+9 more|arXiv (Cornell University)|Oct 8, 2023

Protein Structure and Dynamics被引用数 21

ひとこと要約

FrameFlowはSE(3)フローマッチングをタンパク質骨格生成に適用し、FrameDiffと同等のデザイン性をはるかに少ないサンプリングタイムステップで達成し、デザイン性ではGENIEを上回る。サンプリングを大幅に高速化しつつ、多様性と新規性の特徴を維持する。

ABSTRACT

We present FrameFlow, a method for fast protein backbone generation using SE(3) flow matching. Specifically, we adapt FrameDiff, a state-of-the-art diffusion model, to the flow-matching generative modeling paradigm. We show how flow matching can be applied on SE(3) and propose modifications during training to effectively learn the vector field. Compared to FrameDiff, FrameFlow requires five times fewer sampling timesteps while achieving two fold better designability. The ability to generate high quality protein samples at a fraction of the cost of previous methods paves the way towards more efficient generative models in de novo protein design.

研究の動機と目的

• SE(3)上のフロー・マッチングを用いた新規タンパク質設計のための、より高速で効率的な生成モデルの動機づけ。
• SE(3)フローマッチングを骨格生成へ適用し、整列済みクリーンフレームを回帰する等変ベクトル場を訓練する。
• FrameFlowが拡散ベースのベースラインよりも少ないサンプリングステップで同等または上位のデザイン性を達成することを示す。
• 性能と安定性を最大化するためのアーキテクチャおよび訓練の微調整（等変性、先行事前分布、事前整列 など）を探索する。

提案手法

• 加法的メトリクスを用いたSE(3)^Nの積空間でタンパク質バックボーンへSE(3)フローマッチングを適用する。
• 条件付きベクトル場学習を用いて条件付きフローを一致させ、ODE積分を通じてCNFを可能にする。
• 平移と回転を適切な測地線でパラメータ化する（平移は線形補間、回転はロドリゲス法に基づく指数/logを使用）。
• SE(3)等変性FramePredアーキテクチャとIPA更新を用いてSE(3)等変性を保証するよう訓練する。
• 訓練効率を向上させるためにKabschによる事前整列を採用し、回転サンプリングを改善するIGSO3事前分布を使用する。
• サンプリング中の指数的ランプを用いたSO(3)推論スケジューラを使用し、訓練を安定化させるために損失重みを調整する。
• SCOPeデータで評価し、GENIEおよびFrameDiffと比較してデザイン性・多様性・新規性を評価する。長さあたり10サンプルを用い、ProteinMPNN/ESMFoldのデザイン性チェックを行う。

実験結果

リサーチクエスチョン

• RQ1 SE(3)フローマッチングは拡散モデルより著しく少ないサンプリングステップで高品質なタンパク質バックボーンを生み出せるか。
• RQ2 FrameFlowはFrameDiffおよびGENIEと比較して多様性や新規性を犠牲にすることなくデザイン性を向上させるか。
• RQ3 タンパク質バックボーン向けのSE(3)フローマッチングを最も効果的に安定化させるアーキテクチャと訓練調整は何か。
• RQ4 異なる事前分布とサンプリングスケジューラが、タンパク質のSE(3)フローマッチングの性能と効率にどう影響するか。

主な発見

• FrameFlowは500 timestepsでデザイン性0.81、100 timestepsで0.77を達成し、対応設定のFrameDiffおよびGENIEより上回る。
• FrameFlowはタイムステップを通じて0.22–0.28程度の多様性スコア（クラスター）を達成し、いくつかの設定でFrameDiffよりデザイン性の高いサンプル数とモード数を示す。
• FrameFlowは0.69–0.67の novelty（低い方が良い）を達成し、デザイン性を高めつつ既知構造への類似性も競合的であることを示す。
• GENIEと比較して、FrameFlowは100 timestepsでデザイン性が高く（0.77対GENIE SDEの1000 timestepsで0.22）、同じく少ないステップでも同等以上のデザイン性を示す。
• サンプリング時間は劇的に短縮される。GENIEの1000 timestepsは長さ100のタンパク質で128秒、これに対しFrameDiff/FrameFlowの100 timestepsは同等のハードウェアで5.7秒。
• FrameFlowとFrameDiffは同じバックボーンアーキテクチャを使用する。FrameFlowのODEベースのサンプリングはFrameDiffのSDEベースのサンプリングより軌道が直進で収束が速い。