[논문 리뷰] Token-Level Guided Discrete Diffusion for Membrane Protein Design

Shrey Goel, Schray, Peregrine M.외 4명|arXiv (Cornell University)|2024. 10. 22.

RNA and protein synthesis mechanismsBiochemistry, Genetics and Molecular Biology인용 수 3

한 줄 요약

MeMDLM는 처음으로 막힌 확산 단백질 언어 모델(MDLM)을 도입하여 탈원형 막 단백질 설계를 수행한다. 이 모델은 ESM-2 pLM을 활용해 고도의 막 수용성(TM) 특성을 띤 서열을 생성한다. 마스크 토큰을 통한 이산적 노이즈 적용과 역방향 확산을 통해, MeMDLM는 자동회귀 방법을 능가하는 생물학적으로 현실적인 막 단백질을 생성하면서도 핵심 물리화학적 특성을 유지한다.

ABSTRACT

Reparameterized diffusion models (RDMs) have recently matched autoregressive methods in protein generation, motivating their use for challenging tasks such as designing membrane proteins, which possess interleaved soluble and transmembrane (TM) regions. We introduce the Membrane Diffusion Language Model (MemDLM), a fine-tuned RDM-based protein language model that enables controllable membrane protein sequence design. MemDLM-generated sequences recapitulate the TM residue density and structural features of natural membrane proteins, achieving comparable biological plausibility and outperforming state-of-the-art diffusion baselines in motif scaffolding tasks by producing lower perplexity, higher BLOSUM-62 scores, and improved pLDDT confidence. To enhance controllability, we develop Per-Token Guidance (PET), a novel classifier-guided sampling strategy that selectively solubilizes residues while preserving conserved TM domains, yielding sequences with reduced TM density but intact functional cores. Importantly, MemDLM designs validated in TOXCAT beta-lactamase growth assays demonstrate successful TM insertion, distinguishing high-quality generated sequences from poor ones. Together, our framework establishes the first experimentally-validated diffusion-based model for rational membrane protein generation, integrating de novo design, motif scaffolding, and targeted property optimization.

연구 동기 및 목표

• 자기회귀 모델의 한계를 극복하는 탈원형 막 단백질 설계를 위한 생성 프레임워크를 개발한다.
• 막 단백질 언어 모델(pLM)에 대해 마스크된 확산 언어 모델링(MDLM)을 적응시켜 서열 생성을 향상시킨다.
• 생성 과정에서 막 단백질의 중요한 물리화학적 및 구조적 특성을 유지한다.
• 고도로 생물학적으로 정확한 막 수용성 및 용해성 모티프의 구조적 기반을 제공한다.
• 실험적 응용을 위한 시퀀스 중심 플랫폼을 제공한다. 이는 약물 개발 및 합성 생물학 분야에서 활용된다.

제안 방법

• 풍부한 임bedding 공간을 확보하기 위해, ESM-2-150M pLM을 포괄적인 단백질 서열 공간에서 사전 학습한다.
• 막 단백질 서열에서 사전 학습된 ESM-2를 미세조정하여 막 특화 기능을 전문화시킨다.
• 시간 단계에 따라 아미노산 토큰을 <mask> 토큰으로 대체하는 이산적 노이즈 스케줄을 구현하며, 흡수 상태 확산 과정을 따르는 방식이다.
• 각 시간 단계 t에서 토큰 마스킹 확률을 제어하기 위해 시간 조건부 노이즈 스케줄 αₜ를 사용한다.
• 완전히 마스킹된 서열에서부터 노이즈 제거를 통해 완전하고 생물학적으로 현실적인 단백질 서열을 생성하기 위해 확산 과정을 역행한다.
• 무조건적 생성과 막 수용성 및 용해성 도메인의 조건부 구조화에 모델을 적용한다.

실험 결과

연구 질문

• RQ1 마스크된 확산 언어 모델링(MDLM)은 막 단백질 서열 생성을 위해 단백질 언어 모델(pLM)에 효과적으로 적응될 수 있는가?
• RQ2 MDLM 기반 생성 방식은 자동회귀 방법보다 막 수용성(TM) 특성이 높은 막 단백질을 더 잘 생성하는가?
• RQ3 MeMDLM는 최첨단 인painting 방법보다 기능적 모티프(TM 및 용해성 도메인)를 더 높은 정확도로 재구성할 수 있는가?
• RQ4 MeMDLM는 용해도 및 막 정렬과 같은 핵심 물리화학적 특성을 어느 정도 유지하는가?
• RQ5 MeMDLM는 후속 실험 검증에 적합한 생물학적으로 타당한 막 단백질 서열을 생성할 수 있는가?

주요 결과

• MeMDLM가 생성한 서열은 자동회귀 방법에 비해 유의미하게 높은 막 수용성(TM) 특성을 보이며, 이는 더 높은 구조적 현실성의 지표로 간주된다.
• MeMDLM는 막 수용성 도메인에서 3.819의 가짜 퍼플렉서티(pseudo-perplexity)를 기록했고, 용해성 도메인에서는 7.029를 기록하여 EvoDiff(각각 20.554 및 16.991)를 능가한다.
• 진짜 서열과 재구성된 서열의 ESM-2-650M 임베딩 간 코사인 유사도는 막 수용성 도메인에서 0.768, 용해성 도메인에서는 0.778를 기록하여 높은 생물학적 유사성을 입증한다.
• MeMDLM 임베딩는 용해도에 대해 AUROC 점수 0.949, 막 정렬에 대해 0.541를 기록하여 최첨단 pLM들과 유사한 성능을 달성한다.
• 모델는 생물학적으로 현실적인 구조적 및 기능적 특성을 지닌 다양한 새로운 막 단백질 서열을 성공적으로 생성하여 실험적 응용에 적합하다.
• MeMDLM는 MDLM가 인코더 전용 pLM에 효과적으로 적용될 수 있음을 입증하며, 단백질 설계를 위한 강력한 생성 능력을 해방시킨다.