[논문 리뷰] Pre-training Co-evolutionary Protein Representation via A Pairwise Masked Language Model

Liang He, Shizhuo Zhang외 11명|arXiv (Cornell University)|2021. 10. 29.

Machine Learning in Bioinformatics참고 문헌 53인용 수 11

한 줄 요약

이 논문은 사전 훈련 중 단백질 서열 내 상호 잔기 공진화적 의존성을 포착하는 쌍별 마스킹 언어 모델(PMLM)을 제안한다. 개별 예측이 아닌 마스킹된 잔기 쌍의 동시 확률을 모델링함으로써 표현 학습을 향상시킨다. 이 방법은 표준 MLM 대비 접촉 예측에서 최대 9%의 상대적 향상을 달성했으며, TAPE 벤치마크에서 MSA 기반 기준선을 7% 이상 초월하여, 단일 서열 기반 사전 훈련이 기존의 MSA에 의존하는 방법을 능가할 수 있음을 보여준다.

ABSTRACT

Understanding protein sequences is vital and urgent for biology, healthcare, and medicine. Labeling approaches are expensive yet time-consuming, while the amount of unlabeled data is increasing quite faster than that of the labeled data due to low-cost, high-throughput sequencing methods. In order to extract knowledge from these unlabeled data, representation learning is of significant value for protein-related tasks and has great potential for helping us learn more about protein functions and structures. The key problem in the protein sequence representation learning is to capture the co-evolutionary information reflected by the inter-residue co-variation in the sequences. Instead of leveraging multiple sequence alignment as is usually done, we propose a novel method to capture this information directly by pre-training via a dedicated language model, i.e., Pairwise Masked Language Model (PMLM). In a conventional masked language model, the masked tokens are modeled by conditioning on the unmasked tokens only, but processed independently to each other. However, our proposed PMLM takes the dependency among masked tokens into consideration, i.e., the probability of a token pair is not equal to the product of the probability of the two tokens. By applying this model, the pre-trained encoder is able to generate a better representation for protein sequences. Our result shows that the proposed method can effectively capture the inter-residue correlations and improves the performance of contact prediction by up to 9% compared to the MLM baseline under the same setting. The proposed model also significantly outperforms the MSA baseline by more than 7% on the TAPE contact prediction benchmark when pre-trained on a subset of the sequence database which the MSA is generated from, revealing the potential of the sequence pre-training method to surpass MSA based methods in general.

연구 동기 및 목표

• 다양한 비정렬된 단백질 서열 데이터에서 계산 비용이 높은 다중 서열 정렬(MSA)에 의존하지 않고 효과적인 단백질 서열 표현을 학습하는 데 도전한다.
• 새로운 사전 훈련 목표를 통해 마스킹된 잔기 쌍 간의 의존성을 모델링함으로써 서열에서 직접 상호 잔기 공진화적 정보를 포착한다.
• 잔기 쌍의 동시 모델링을 통해 더 풍부하고 맥락에 민감한 표현을 학습함으로써 후속 단백질 구조 및 기능 예측 작업의 성능을 향상시킨다.
• 서열 전용 사전 훈련이 단백질 모델링의 표현 품질에서 기존의 MSA 기반 방법을 능가할 수 있는지 평가한다.

제안 방법

• 표준 마스킹 언어 모델링을 확장하여 두 개의 마스킹 잔기의 동시 확률을 모델링하는 쌍별 마스킹 언어 모델(PMLM)을 제안한다.
• PMLM 목표는 잔기 쌍의 확률이 개별 확률의 곱과 같지 않음을 학습함으로써 공진화 신호를 명시적으로 포착한다. 이는 잔기 간의 상호 의존성을 반영한다.
• 대규모 단백질 서열 데이터베이스(예: Pfam, UR50)에서 표준 MLM과 새로운 PMLM 목표를 다중 작업 설정으로 결합하여 사전 훈련한다.
• 사전 훈련된 인코더는 접촉 예측, 2차 구조 예측, 원거리 동일성 탐지 등의 작업을 위해 후속 헤드와 함께 미세조정된다.
• 표현 학습을 향상시키기 위해 단순 선형 헤드보다 더 표현력이 뛰어난 잔차 신경망(ResNet) 헤드를 사용한다.
• TAPE 벤치마크에서 강력한 기준선(예: MSA 기반 모델 및 표준 트랜스포머)과 비교하여 평가한다.

실험 결과

연구 질문

• RQ1 다중 서열 정렬(MSA)에 의존하지 않고 원시 단백질 서열에서 공진화적 정보를 효과적으로 포착할 수 있는가?
• RQ2 표준 MLM의 독립적 마스킹 대비 마스킹 잔기 쌍의 동시 확률을 모델링하는 것이 단백질 표현 학습에 더 나은가?
• RQ3 서열 전용 사전 훈련 접근 방식이 후속 단백질 구조 예측 작업에서 MSA 기반 방법을 능가할 수 있는가?
• RQ4 모델 크기와 후속 아키텍처의 영향은 제안된 PMLM 방법의 성능에 어떤 영향을 미치는가?

주요 결과

• PMLM 모델은 동일한 훈련 설정에서 표준 MLM 기준선 대비 접촉 예측 성능을 최대 9% 향상시켰다.
• TAPE 접촉 예측 벤치마크에서 PMLM는 MSA 기반 기준선을 7% 이상 초월하여, 서열 전용 사전 훈련의 우수성을 입증했다.
• 기본(base)에서 대형(large), 그리고 XL(715M 파라미터)으로 모델 크기를 증가시키면 접촉 예측 성능이 14% 향상되었으며, F1 스코어는 57.7%에서 71.7%로 상승했다.
• 선형 헤드 대비 ResNet 헤드 사용으로 UR50 데이터셋에서 정밀도가 39.2에서 41.6으로 향상되어 더 표현력 있는 후속 모듈의 이점을 입증했다.
• 2차 구조 예측에서 PMLM-base는 TAPE 트랜스포머 기준선과 유사한 성능을 보였으며, CB513에서 스코어는 0.728 대비 0.730을 기록했다.
• 원거리 동일성 예측에서 PMLM-base는 가족 수준 기준에서 TAPE 트랜스포머를 최대 10% 향상시키며, 슈퍼패밀리 수준 기준에서는 10.6% 향상시켜 진화 신호를 강력하게 포착함을 보여주었다.