[논문 리뷰] Deciphering the Language of Nature: A transformer-based language model for deleterious mutations in proteins

Theodore Jiang, Fang Li외 1명|arXiv (Cornell University)|2021. 10. 27.

Machine Learning in Bioinformatics인용 수 4

한 줄 요약

MutFormer는 참조 및 돌연변이 단백질 서열을 활용하여 장거리 및 단거리 서열 의존성을 캡처하기 위해 자기주의와 순환층을 사용하는 트랜스포머 기반 딥러닝 모델이다. 다양한 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하며, 이전 방법에서 탐색하지 못한 생물학적으로 관련성이 있는 서열 특징을 포착함으로써 기존 도구를 능가하거나 동등하게 성능을 내고 있다.

ABSTRACT

Various machine-learning models, including deep neural network models, have already been developed to predict deleteriousness of missense (non-synonymous) mutations. Potential improvements to the current state of the art, however, may still benefit from a fresh look at the biological problem using more sophisticated self-adaptive machine-learning approaches. Recent advances in the natural language processing field show transformer models-a type of deep neural network-to be particularly powerful at modeling sequence information with context dependence. In this study, we introduce MutFormer, a transformer-based model for the prediction of deleterious missense mutations, which uses reference and mutated protein sequences from the human genome as the primary features. MutFormer takes advantage of a combination of self-attention layers and convolutional layers to learn both long-range and short-range dependencies between amino acid mutations in a protein sequence. In this study, we first pre-trained MutFormer on reference protein sequences and mutated protein sequences resulting from common genetic variants observed in human populations. We next examined different fine-tuning methods to successfully apply the model to deleteriousness prediction of missense mutations. Finally, we evaluated MutFormer's performance on multiple testing data sets. We found that MutFormer showed similar or improved performance over a variety of existing tools, including those that used conventional machine-learning approaches. We conclude that MutFormer successfully considers sequence features that are not explored in previous studies and could potentially complement existing computational predictions or empirically generated functional scores to improve our understanding of disease variants.

연구 동기 및 목표

• 고급 서열 모델링 기법을 사용하여 유해한 미스센스 변이의 예측을 향상시키는 새로운 딥러닝 모델을 개발하는 것.
• 트랜스포머 아키텍처의 맥락 인식 능력을 활용하여 단백질 서열 내 복잡한 의존성을 포착하는 것.
• 인간 인구 유전 변이에서 사전 훈련하고, 정확한 유해성 예측을 위해 미세조정하는 것.
• 다양하고 독립적인 테스트 데이터셋에서 기존 도구와의 성능을 평가하는 것.
• 기존 모델에서 포착되지 않은 서열 특징을 식별하여 병원성 예측의 생물학적 해석 가능성 향상하는 것.

제안 방법

• MutFormer는 단백질 서열 내 장거리 및 국소적 서열 의존성을 모델링하기 위해 다중 헤드 자기주의 층과 순환층을 조합한 하이브리드 아키텍처를 사용한다.
• 모델은 일반적인 인간 유전 변이에서 유래한 参照 및 돌연변이 단백질 서열을 기반으로 사전 훈련하여 일반적인 서열 표현을 학습한다.
• 기존에 알려진 유해성과 중립성 미스센스 변이의 레이블이 부여된 데이터셋을 사용하여 지도 학습 기반의 미세조정을 적용한다.
• 입력 특징은 원형 및 돌연변이 아미노산 서열을 모두 포함하여 특정 치환의 영향을 학습할 수 있도록 한다.
• 시퀀스 순서와 맥락을 유지하기 위해 위치 인코딩을 사용하며, 이는 단백질 구조 및 기능에서 돌연변이 영향을 포착하는 데 핵심적이다.
• 다양한 독립 테스트 세트에서 AUC-ROC 및 AUPRC와 같은 표준 지표를 사용하여 성능을 평가한다.

실험 결과

연구 질문

• RQ1 트랜스포머 기반 모델이 기존 머신러닝 도구보다 유해한 미스센스 변이 예측에서 뛰어난 성능을 낼 수 있는가?
• RQ2 MutFormer는 기존 모델이 포착하지 못한 특별히 맥락 의존성 패턴을 포함한 어떤 서열 수준의 특징을 학습하는가?
• RQ3 인구 수준의 유전 변이에서의 사전 훈련이 후속 예측 성능 향상에 얼마나 효과적인가?
• RQ4 자기주의 메커니즘이 기능적으로 파괴적인 돌연변이 탐지에 얼마나 기여하는가?
• RQ5 MutFormer는 인간 단백질의 다양한 유전적 및 기능적 맥락에서 일반화할 수 있는가?

주요 결과

• MutFormer는 gnomAD 및 ClinVar를 포함한 여러 벤치마크 데이터셋에서 최신 기술 수준의 도구와 비교해 유사하거나 뛰어난 성능을 보였다.
• 독립 테스트 세트에서 AUC-ROC 점수가 향상되어 강력한 일반화 능력을 보였다.
• 자기주의 메커니즘이 아미노산 위치 간 장거리 의존성을 포착함으로써 예측 정확도를 향상시켰다.
• 순환층의 통합은 국소 서열 맥락 모델링을 향상시켜 병원성 변이의 구분 능력을 향상시켰다.
• MutFormer는 보존된 잔류기 및 구조 모티프와 같은 생물학적으로 관련성이 있는 서열 패턴을 식별하여 유해성과 관련이 있음을 확인했다.
• 미세조정 전략이 성능 향상에 크게 기여하여 이 분야에서 전이 학습의 가치를 확인했다.