[論文レビュー] DiffSDS: A language diffusion model for protein backbone inpainting under geometric conditions and constraints

Zhangyang Gao, Cheng Tan+1 more|arXiv (Cornell University)|Jan 22, 2023

Protein Structure and Dynamics被引用数 7

ひとこと要約

DiffSDSは、言語モデルに隠れた原子的方向空間（ADS）を統合することで、幾何的制約を伴うタンパク質骨格の穴埋めを可能にする新しい拡散モデルを提案する。バックボーン角度を効率的な制約強制のための方向ベクトルに変換し、微分可能で逆写像が保証されるSeq2DirectおよびDirect2Seqモジュールを用いることで、DiffSDSは接続性、重複なし、設計可能性の指標において最先端の性能を達成しながら、トランスフォーマーに基づくモデルの単純さを維持する。

ABSTRACT

Have you ever been troubled by the complexity and computational cost of SE(3) protein structure modeling and been amazed by the simplicity and power of language modeling? Recent work has shown promise in simplifying protein structures as sequences of protein angles; therefore, language models could be used for unconstrained protein backbone generation. Unfortunately, such simplification is unsuitable for the constrained protein inpainting problem, where the model needs to recover masked structures conditioned on unmasked ones, as it dramatically increases the computing cost of geometric constraints. To overcome this dilemma, we suggest inserting a hidden extbf{a}tomic extbf{d}irection extbf{s}pace ( extbf{ADS}) upon the language model, converting invariant backbone angles into equivalent direction vectors and preserving the simplicity, called Seq2Direct encoder ($ ext{Enc}_{s2d}$). Geometric constraints could be efficiently imposed on the newly introduced direction space. A Direct2Seq decoder ($ ext{Dec}_{d2s}$) with mathematical guarantees is also introduced to develop a extbf{SDS} ($ ext{Enc}_{s2d}$+$ ext{Dec}_{d2s}$) model. We apply the SDS model as the denoising neural network during the conditional diffusion process, resulting in a constrained generative model-- extbf{DiffSDS}. Extensive experiments show that the plug-and-play ADS could transform the language model into a strong structural model without loss of simplicity. More importantly, the proposed DiffSDS outperforms previous strong baselines by a large margin on the task of protein inpainting.

研究の動機と目的

• 幾何的制約を効率的に強制する一方で、言語モデルの単純さを維持する挑戦に応えること。
• 従来のSE(3)ベースのモデルが制約付き生成タスクにおいて計算的に非効率で複雑であるという問題を克服すること。
• エンドポイントの接続性や既存構造との重複なしといった空間的制約を尊重する高精度なタンパク質構造生成を可能にすること。
• 標準的な言語モデルをそのまま変換して強力な構造的生成モデルにできる、プラグアンドプレイなフレームワークを構築すること。
• 折りたたみや合成の下流タスクとの適合性を保証することで、生成されたタンパク質骨格の設計可能性を向上させること。

提案手法

• 不変なバックボーン角度を方向ベクトルに変換することで、幾何的計算を効率化するための隠れた原子的方向空間（ADS）を導入する。
• シーケンスレベルの特徴を方向空間にマップするSeq2Directエンコーダ（$\text{Enc}_{\text{s2d}}$）を提案し、幾何的整合性を保持する。
• 逆写像性と構造的忠実度を保証する数学的根拠を持つDirect2Seqデコーダ（$\text{Dec}_{\text{d2s}}$）を開発する。
• 角度のシーケンス上で動作するが、方向空間での制約強制が可能な、SDSモデル（$\text{Enc}_{\text{s2d}}$ + $\text{Dec}_{\text{d2s}}$）を構築する。
• 条件付き拡散プロセス内でのノイズ除去ネットワークとしてSDSモデルを採用し、DiffSDSフレームワークを構築する。
• エンドポイントの接続性や重複なしといった幾何的制約を、方向空間に直接適用することで構造的妥当性を保証する。

実験結果

リサーチクエスチョン

• RQ1 言語モデルを変更することで、計算の単純さを保ちながら制約付きタンパク質骨格の穴埋めを実現できるか？
• RQ2 エンドポイントの接続性や重複なしといった幾何的制約を、シーケンスベースの生成モデルでどのように効率的に強制できるか？
• RQ3 方向ベースの潜在空間を挿入することで、純粋なシーケンスモデリングに比べ、生成されたタンパク質骨格の忠実度と妥当性が向上するか？
• RQ4 本手法は、構造的正確性と設計可能性の観点で、強力なベースラインをどの程度上回るか？
• RQ5 明示的な幾何的制約とシーケンス／長さ条件がモデル性能に果たす寄与度はどの程度か？

主な発見

• マスク長が10未満の場合は接続性誤差が6.93、10～15の場合は9.93、15より大きい場合は10.61であり、全長にわたりRFDesignおよびFoldingDiffを顕著に上回る。
• 1Åの閾値における非重複スコアはDiffSDSで270（RFDesignは280、FoldingDiffは276）、未マスク領域との空間的分離が良好であることを示している。
• 全テストセットで231の設計可能バックボーン（scTM > 0.5）を生成し、CFoldingDiff（217）およびRFDesign（178）を上回り、長タンパク質（70残基以上）では10%の相対的改善を達成した。
• DiffSDSの平均scTMスコアは0.56であり、CFoldingDiff（0.54）およびRFDesign（0.51）を上回り、中央値が0.55であるため、構造的一致性が高くなっている。
• アブレーションスタディにより、方向空間における幾何的制約が不可欠であることが確認された。それらを除去すると、長さおよび重複損失が増加し、構造的妥当性が低下する。
• マスク長の変動に関わらず一貫した性能を維持し、著しい劣化を示さない。これに対してFoldingDiffはマスク長が増加するにつれて接続性誤差が増加する。