[논문 리뷰] DiffSDS: A language diffusion model for protein backbone inpainting under geometric conditions and constraints

Zhangyang Gao, Cheng Tan외 1명|arXiv (Cornell University)|2023. 01. 22.

Protein Structure and Dynamics인용 수 7

한 줄 요약

DiffSDS는 언어 모델에 은닉 원자 방향 공간(ADS)을 통합하여 기하학적 제약 조건을 갖춘 단백질 백본 인painting을 가능하게 하는 혁신적인 확산 모델을 제안한다. 백본 각도를 효율적인 제약 조건 강제화를 위한 방향 벡터로 변환하고, 미분 가능한 Seq2Direct 및 Direct2Seq 모듈을 사용함으로써, DiffSDS는 연결성, 겹침 방지, 설계 가능성 지표에서 최신 기술 수준의 성능을 달성하면서도 트랜스포머 기반 모델링의 단순성을 유지한다.

ABSTRACT

Have you ever been troubled by the complexity and computational cost of SE(3) protein structure modeling and been amazed by the simplicity and power of language modeling? Recent work has shown promise in simplifying protein structures as sequences of protein angles; therefore, language models could be used for unconstrained protein backbone generation. Unfortunately, such simplification is unsuitable for the constrained protein inpainting problem, where the model needs to recover masked structures conditioned on unmasked ones, as it dramatically increases the computing cost of geometric constraints. To overcome this dilemma, we suggest inserting a hidden extbf{a}tomic extbf{d}irection extbf{s}pace ( extbf{ADS}) upon the language model, converting invariant backbone angles into equivalent direction vectors and preserving the simplicity, called Seq2Direct encoder ($ ext{Enc}_{s2d}$). Geometric constraints could be efficiently imposed on the newly introduced direction space. A Direct2Seq decoder ($ ext{Dec}_{d2s}$) with mathematical guarantees is also introduced to develop a extbf{SDS} ($ ext{Enc}_{s2d}$+$ ext{Dec}_{d2s}$) model. We apply the SDS model as the denoising neural network during the conditional diffusion process, resulting in a constrained generative model-- extbf{DiffSDS}. Extensive experiments show that the plug-and-play ADS could transform the language model into a strong structural model without loss of simplicity. More importantly, the proposed DiffSDS outperforms previous strong baselines by a large margin on the task of protein inpainting.

연구 동기 및 목표

• 언어 모델의 단순성 유지와 함께 효율적으로 기하학적 제약 조건을 강제화하는 데 도전하는 것.
• 기존의 SE(3)-기반 모델이 제약 조건이 있는 생성 작업에서 계산 비용이 많이 들고 복잡한 문제를 해결하는 것.
• 종단점 연결성 및 기존 구조와의 겹침 방지를 포함한 공간적 제약 조건을 존중하는 고해상도 단백질 구조 생성을 가능하게 하는 것.
• 표준 언어 모델을 간단한 모델링을 희생시키지 않고도 강력한 구조적 생성 모델로 전환할 수 있는 플러그 앤 플레이 프레임워크를 개발하는 것.
• 후속 접힘 및 합성에 적합한 백본을 보장함으로써 생성된 단백질 백본의 설계 가능성을 향상시키는 것.

제안 방법

• 불변 백본 각도를 방향 벡터로 변환하여 기하학적 계산을 효율적으로 수행할 수 있도록 하는 은닉 원자 방향 공간(ADS)을 도입한다.
• 시퀀스 수준의 특징을 방향 공간으로 매핑하는 Seq2Direct 인코더 ($\text{Enc}_{\text{s2d}}$)를 제안하여 기하학적 일관성을 유지한다.
• 역행성과 구조적 정확성을 보장하는 수학적 보장 조건이 있는 Direct2Seq 디코더 ($\text{Dec}_{\text{d2s}}$)를 개발한다.
• 각도 시퀀스를 기반으로 작동하면서도 방향 공간에서 제약 조건 강제화가 가능한 SDS 모델 ($\text{Enc}_{\text{s2d}}$ + $\text{Dec}_{\text{d2s}}$)을 구성한다.
• 조건부 확산 프로세스 내에서 SDS 모델을 노이즈 제거 네트워크로 활용하여 DiffSDS 프레임워크를 구성한다.
• 종단점 연결성 및 겹침 방지와 같은 기하학적 제약 조건을 직접적으로 방향 공간에 적용하여 구조적 타당성을 확보한다.

실험 결과

연구 질문

• RQ1 언어 모델이 계산의 단순성을 유지하면서도 제약 조건이 있는 단백질 백본 인painting을 수행할 수 있는가?
• RQ2 종단점 연결성 및 겹침 방지와 같은 기하학적 제약 조건을 시퀀스 기반 생성 모델에서 효율적으로 강제로 적용할 수 있는가?
• RQ3 기반 방향 잠재 공간을 삽입함으로써 순수한 시퀀스 모델링에 비해 생성된 단백질 백본의 정확성과 타당성이 향상되는가?
• RQ4 제안된 방법이 구조 정확성 및 설계 가능성 측면에서 강력한 베이스라인을 얼마나 뛰어나게 성능을 내는가?
• RQ5 명시적인 기하학적 제약 조건과 시퀀스/길이 조건이 모델 성능에 기여하는 정도는 어느 정도인가?

주요 결과

• DiffSDS는 마스크 길이가 10 미만일 경우 연결성 오차가 6.93, 10~15일 경우 9.93, 15 초과일 경우 10.61을 기록하여 모든 길이에서 RFDesign 및 FoldingDiff를 뛰어넘는다.
• 1Å 임계값에서의 겹침 방지 점수는 DiffSDS가 270점(비교 기준: RFDesign 280점, FoldingDiff 276점)을 기록하여 마스크 해제 영역과의 공간적 분리가 더 우수하다.
• 전체 테스트 세트에서 DiffSDS는 231개의 설계 가능한 백본(sTM > 0.5)을 생성하여 CFoldingDiff(217개)와 RFDesign(178개)를 능가했으며, 긴 단백질(70잔기 초과)에서는 10%의 상대적 향상률을 기록했다.
• DiffSDS의 평균 scTM 점수는 0.56으로, CFoldingDiff(0.54)와 RFDesign(0.51)을 초월했으며, 중앙값 0.55를 기록하여 더 높은 구조 일관성을 보였다.
• 제거 실험 결과, 방향 공간 내 기하학적 제약 조건이 필수적임을 확인했으며, 이를 제거하면 길이 및 겹침 손실이 증가하여 구조적 타당성이 떨어졌다.
• 마스크 길이에 관계없이 일관된 성능을 유지하며 최소한의 성능 저하를 보였고, 반면 FoldingDiff는 마스크 길이 증가에 따라 연결성 오차가 증가하는 경향을 보였다.