[논문 리뷰] Leveraging Multi-modal Representations to Predict Protein Melting Temperatures

Daiheng Zhang, Yan Zeng외 2명|arXiv (Cornell University)|2024. 12. 05.

Protein Structure and DynamicsBiochemistry, Genetics and Molecular Biology인용 수 3

한 줄 요약

이 논문은 단백질 언어 모델—특히 ESM3, ESM2 및 OpenFold—을 활용하고 시퀀스 및 구조적 특징을 결합하여 단백질 융해 온도 변화($\Delta T_m$)를 예측하는 다중 모odal 딥 러닝 프레임워크인 ESM3-DTm을 제안한다. ESM3 기반 모델을 시퀀스 및 구조 입력에 대해 피지컬 트레이닝하여, s571 테스트 세트에서 기존 최고 성능인 피어슨 상관계수 0.50을 달성하며, $\Delta T_m$ 예측에 다중 모odal 표현이 우수한 성능을 보임을 입증한다.

ABSTRACT

Accurately predicting protein melting temperature changes (Delta Tm) is fundamental for assessing protein stability and guiding protein engineering. Leveraging multi-modal protein representations has shown great promise in capturing the complex relationships among protein sequences, structures, and functions. In this study, we develop models based on powerful protein language models, including ESM-2, ESM-3 and AlphaFold, using various feature extraction methods to enhance prediction accuracy. By utilizing the ESM-3 model, we achieve a new state-of-the-art performance on the s571 test dataset, obtaining a Pearson correlation coefficient (PCC) of 0.50. Furthermore, we conduct a fair evaluation to compare the performance of different protein language models in the Delta Tm prediction task. Our results demonstrate that integrating multi-modal protein representations could advance the prediction of protein melting temperatures.

연구 동기 및 목표

• 다양한 모달리티의 단백질 표현을 활용하여 단백질 융해 온도 변화($\Delta T_m$) 예측 정확도를 향상시키는 것.
• ESM2, ESM3 및 OpenFold와 같은 다양한 단백질 언어 모델이 $\Delta T_m$에 관련된 시퀀스 및 구조적 특징을 얼마나 잘 포착하는지 평가하는 것.
• 구조 정보 통합 및 피지컬 트레이닝 전략의 예측 성능에 미치는 영향을 조사하는 것.
• 과적합을 방지하기 위해 훈련 데이터를 재분할하여 $\Delta T_m$ 예측에 대한 공정한 벤치마크를 설정하는 것.
• 야생형 및 돌연변이 단백질 표현을 융합하는 다양한 회귀 헤드 아키텍처를 비교하는 것.

제안 방법

• 모델은 ESM3를 주요 기반으로 사용하며, 단백질 시퀀스와 3D 구조를 함께 처리하여 통합된 임베딩을 생성한다.
• ESM3 및 ESM2 기반 모델의 경우, 전반적인 맥락을 위해 CLS 임베딩을 추출하고, 돌연변이 위치의 특징을 위해 국소적 특징으로서의 임베딩을 추출한다.
• OpenFold의 경우, Evoformer 및 구조 모듈의 출력을 전반적인 맥락으로서의 임베딩으로 사용하고, 돌연변이 위치의 표현을 국소적 특징으로 사용한다.
• 두 가지 융합 전략이 적용된다: 야생형 및 돌연변이 단백질 임베딩의 외적 곱과 선형 조합을 통해 $\Delta T_m$를 예측한다.
• 모든 모델 파라미터에 대해 엔드 투 엔드 피지컬 트레이닝을 수행하며, 기울기 클리핑과 OneCycle 학습률 스케줄링을 적용한다.
• 최고 성능을 보인 회귀 헤드의 앙상블을 사용하여 최종 예측의 견고성을 향상시킨다.

실험 결과

연구 질문

• RQ1 시퀀스와 3D 구조를 통합한 다중 모달 단백질 표현이 $\Delta T_m$ 예측 정확도를 상당히 향상시킬 수 있는가?
• RQ2 다양한 단백질 언어 모델(Esm2, ESM3, OpenFold)은 $\Delta T_m$ 예측 능력에서 어떻게 상호 비교되는가?
• RQ3 백본 네트워크를 피지컬 트레이닝하는 것이 고정된 상태에서의 학습보다 더 나은 성능을 내는가?
• RQ4 다양한 회귀 헤드 아키텍처(예: 외적 곱, 선형 조합) 중 어느 것이 $\Delta T_m$ 예측에서 가장 정확한가?
• RQ5 데이터 분할 전략이 모델 일반화 능력과 성능 평가에 어떤 영향을 미치는가?

주요 결과

• ESM3-DTm는 s571 테스트 세트에서 피어슨 상관계수(PCC) 0.50을 달성하여 $\Delta T_m$ 예측 분야에서 새로운 최고 성능을 수립했다.
• 모델은 평균 절대 오차(MAE)를 5.21로 줄이고, 평균 제곱근 오차(RMSE)를 7.68로 낮혀, GeoDTm-3D 및 GeoStab와 같은 이전 방법들을 능가했다.
• 다중 모달 ESM3-DTm는 순수 시퀀스 기반 모델보다 뚜렷이 뛰어나며, ESM3-DTm(seq only) 대비 PCC는 0.01 향상되고, MAE는 0.10 감소했다.
• ESM2-650M 백본을 피지컬 트레이닝한 결과 PCC는 0.48을 기록했고, 백본을 고정한 경우는 0.46이었으며, 이는 전체 파라미터 피지컬 트레이닝의 이점이 있음을 보여준다.
• 돌연변이 위치 임베딩의 외적 곱과 선형 조합이 가장 높은 성능을 보였으며, 각각 PCC 0.41과 0.40을 기록했다.
• OpenFold-DTm는 성능이 열악했으며(PCC=0.35), 이는 OpenFold가 구조 예측에 강력한 반면, 이 설정에서는 $\Delta T_m$ 회귀에 덜 효과적임을 시사한다.