[논문 리뷰] Pre-Training Protein Encoder via Siamese Sequence-Structure Diffusion Trajectory Prediction

Zuobai Zhang, Minghao Xu외 4명|arXiv (Cornell University)|2023. 01. 28.

Machine Learning in Bioinformatics인용 수 11

한 줄 요약

본 논문은 단백질 인코더를 시퀀스와 구조의 공동 확산으로 사전 학습하는 DiffPreT를 도입하고, 컨포머 상관관계를 시아미 확산 궤적으로 포착하는 SiamDiff를 도입하여 다운스트림 작업에서 최첨단 평균 순위(mean ranks)를 달성한다.

ABSTRACT

Self-supervised pre-training methods on proteins have recently gained attention, with most approaches focusing on either protein sequences or structures, neglecting the exploration of their joint distribution, which is crucial for a comprehensive understanding of protein functions by integrating co-evolutionary information and structural characteristics. In this work, inspired by the success of denoising diffusion models in generative tasks, we propose the DiffPreT approach to pre-train a protein encoder by sequence-structure joint diffusion modeling. DiffPreT guides the encoder to recover the native protein sequences and structures from the perturbed ones along the joint diffusion trajectory, which acquires the joint distribution of sequences and structures. Considering the essential protein conformational variations, we enhance DiffPreT by a method called Siamese Diffusion Trajectory Prediction (SiamDiff) to capture the correlation between different conformers of a protein. SiamDiff attains this goal by maximizing the mutual information between representations of diffusion trajectories of structurally-correlated conformers. We study the effectiveness of DiffPreT and SiamDiff on both atom- and residue-level structure-based protein understanding tasks. Experimental results show that the performance of DiffPreT is consistently competitive on all tasks, and SiamDiff achieves new state-of-the-art performance, considering the mean ranks on all tasks. Our implementation is available at https://github.com/DeepGraphLearning/SiamDiff.

연구 동기 및 목표

• 확산을 사용하여 단백질 시퀀스와 구조의 결합 분포를 모델링하고, 정보가 풍부한 표현을 학습한다.
• Siamese diffusion 궤적 예측으로 구성의 이질성을 통합하여 컨포머 간의 상관관계를 포착한다.
• 원자 수준 및 잔기 수준의 구조 기반 작업에서 사전 학습된 인코더를 평가하여 일반화와 강건성을 평가한다.
• 제안된 방법이 다양한 다운스트림 작업에서 기존의 사전 학습 접근법과 경쟁하거나 우수함을 입증한다.

제안 방법

• DiffPreT는 단백질 시퀀스와 구조에 대해 공동 확산을 수행하고, 단백질 인코더로 매개화된 노이즈 예측 네트워크를 학습한다.
• 순전 확산은 3D 좌표에 가우스 노이즈를 추가하고 시퀀스에는 마스킹 토큰 확산을 적용한다; 역방향은 SE(3)-불변/공변 표현을 사용한다.
• 목표는 구조 손실과 시퀀스 손실로 분해된 ELBO이며, 구조의 경우 노이즈에 대한 회귀 손실로, 시퀀스의 경우 교차 엔트로피로 단순화된다.
• SiamDiff는 비틀림 섭동을 통해 상관된 컨포머 쌍을 생성하고, 서로의 확산 궤적 간의 상호 정보를 상호 디노이징으로 최대화한다.
• 큰 노이즈를 먼저 사용하고 그다음 작은 노이즈를 사용하는 두 단계 노이즈 스케줄링을 적용하여 거칠고 미세한 특징을 포착한다.
• 최종 목표는 네 가지 손실 항을 결합하여 두 컨포머 간의 교차 궤적 디노이징과 두 모달리티 간의 디노이징을 강제한다.

실험 결과

연구 질문

• RQ1 공동 시퀀스-구조 확산 모델이 공진화된 시퀀스 정보와 상세한 구조적 특성 모두를 포착하는 표현을 학습할 수 있는가?
• RQ2 컨포머 인지 SiamDiff를 도입하면 DiffPreT 및 기존 기준선보다 다운스트림 단백질 이해 작업이 개선되는가?
• RQ3 두 단계 노이즈 스케줄이 다중 모달 단백질 표현 학습에 어떤 영향을 미치는가?
• RQ4 태스크 전반의 컨포멀 상관관계 포착에 시아미 확산 궤적이 미치는 영향은 무엇인가? (원자 수준 및 잔기 수준)

주요 결과

• DiffPreT는 원자 수준 및 잔기 수준 작업에서 경쟁력 있는 성능을 제공한다.
• SiamDiff는 평가된 모든 작업에서 새로운 최첨단 평균 순위를 달성한다.
• Atom-level: SiamDiff Mean Rank = 1.2 vs DiffPreT = 2.4.
• Residue-level: SiamDiff Mean Rank = 1.2 vs DiffPreT = 3.2.
• 전반적으로 SiamDiff는 평균 순위를 개선하고 강한 교차 태스크 일반화를 보여준다.