[논문 리뷰] Fine-tuning Protein Language Models with Deep Mutational Scanning improves Variant Effect Prediction

Aleix Lafita, Ferran Gonzalez Hernandez외 6명|arXiv (Cornell University)|2024. 05. 10.

Machine Learning in Bioinformatics인용 수 10

한 줄 요약

이 논문은 Normalised Log-odds Ratio (NLR)를 도입합니다. 이는 Deep Mutational Scanning(DMS) 데이터로 학습된 Protein Language Models(PLMs)의 경량화된 fine-tuning 헤드로, 벤치마크 전체에서 missense 변이 효과 예측을 개선합니다.

ABSTRACT

Protein Language Models (PLMs) have emerged as performant and scalable tools for predicting the functional impact and clinical significance of protein-coding variants, but they still lag experimental accuracy. Here, we present a novel fine-tuning approach to improve the performance of PLMs with experimental maps of variant effects from Deep Mutational Scanning (DMS) assays using a Normalised Log-odds Ratio (NLR) head. We find consistent improvements in a held-out protein test set, and on independent DMS and clinical variant annotation benchmarks from ProteinGym and ClinVar. These findings demonstrate that DMS is a promising source of sequence diversity and supervised training data for improving the performance of PLMs for variant effect prediction.

연구 동기 및 목표

• missense 변이의 기능적 영향 예측을 제로샷 PLM 성능을 넘어서 개선하려는 동기 부여.
• 다수의 분석에서 얻은 DMS 점수를 활용하기 위한 정규화 및 미세 조정 파이프라인 제안.
• 홀드아웃 단백질 및 독립 벤치마크에서의 개선점 시연.
• 학습 데이터가 제한될 때의 일반화 평가 및 단백질 간 성능 분석.
• 더 많은 DMS 데이터와 MSAs 기반 PLMs를 통합하기 위한 확장성 및 향후 방향 논의.

제안 방법

• 동의어 의미를 보존하는 범위에서 동의어가 되는 시노님(동의어) 점수를 0으로, 넌센스 점수를 -1로 재스케일한 뒤 [-2, 2]로 상한하합니다.
• 모든 치환에 대한 로그-오즈 비의 매트릭스를 계산하는 Normalised Log-odds Ratio(NLR) 헤드를 도입합니다(원시 서열별로).
• NLR 헤드를 사용하여 ESM-1v 인코더를 미세 조정하고(ESM-1b/ESM-2와의 비교), 추론 시 다섯 개의 모델 체크포인트에서 예측을 평균합니다.
• 25개 단백질(DMS 데이터 109,215 변이)을 사용하여 5-fold 교차 검증 후 전체 학습을 수행합니다.
• 홀드아웃 MaveDB 테스트 단백질, ProteinGym DMS 분석, ClinVar 병원성/양성 변이를 평가하고, 단백질별 성능 및 기본 제로샷 결과를 분석합니다.

Figure 1: Methods overview. A) Preparation of normalised DMS functional scores from a subset of MaveDB experiments. The mean scores of synonymous and nonsense variants are used to create a common scale across assays and proteins. B) Fine-tuning pipeline for ESM-1v models using the Normalised Log-odd

실험 결과

연구 질문

• RQ1 NLR 미세 조정이 제로샷 성능을 넘어 PLM 기반 변이 효과 예측을 향상시킬 수 있는가?
• RQ2 다양한 DMS 데이터를 공통 규모로 통합하는 것이 독립 벤치마크에서 예측을 향상시키는가?
• RQ3 NLR이 서로 다른 PLM 아키텍처(ESM-1v, ESM-1b, ESM-2)에서 어떤 영향을 미치며 데이터 크기가 증가할수록 이득이 커지는가?
• RQ4 제한된 전처리 데이터에서 단백질의 제로샷 정확도가 낮거나 사전에 학습 데이터에 표현이 제한된 단백질에 대해 성능 향상이 큰가?

주요 결과

• NLR 미세 조정으로 MaveDB 테스트 단백질에서 마이크로 평균 Spearman 상관계수가 0.478에서 0.503으로 상승합니다(+5.2%).
• NLR 미세 조정으로 ProteinGym 평균 Spearman 상관계수가 0.331에서 0.396으로 상승합니다(+19.6%).
• NLR 미세 조정으로 ClinVar auROC가 0.891에서 0.902로 상승합니다(+1.23%).
• 단백질별 ClinVar 분석에서 제로샷 대비 일관된 개선이 나타나며, 특히 기저 auROC가 낮은 단백질에서 두드러집니다.
• ESM-1b 및 ESM-2도 NLR 미세 조정의 이점을 얻으며, 일부 설정에서 ProteinGym에서 최대 상대 Spearman 증가가 25.6%에 달합니다; 이점은 단일 아키텍처를 넘어 확장됩니다.
• 더 많은 DMS 데이터가 있을수록 개선 폭이 커지며, 사전 학습에 representation이 상대적으로 부족한 단백질(예: 바이러스 단백질)에서 미세한 이점을 보입니다.

Figure 2: Results after NLR fine-tuning of ESM-1v models across benchmarks. A) Performance in the five MaveDB test proteins. ProteinGym DMS assays and ClinVar pathogenic variants. B) Spearman correlation in MaveDB test proteins. Mean $\pm$ standard deviation (std) of 50 bootstrapped samples. C) Spea