[논문 리뷰] Pre-training Protein Language Models with Label-Agnostic Binding Pairs Enhances Performance in Downstream Tasks

Modestas Filipavicius, Matteo Manica외 2명|arXiv (Cornell University)|2020. 12. 05.

Machine Learning in Bioinformatics인용 수 11

한 줄 요약

이 논문은 RoBERTa 기반 단백질 언어 모델을 라벨이 부여된 결합성 단백질 쌍과 라벨이 없는 비결합성 단백질 쌍의 혼합물에서 마스크된 언어 모델링(MLM)만을 사용하여 사전 훈련하는 방법을 제안한다. 사전 훈련 과정에서 결합 여부에 대한 명시적 레이블을 사용하지 않는다. 이 방법은 단백질-단백질 결합 예측, TCR-항원 결정부 결합, 세포소기관 국소화, 원거리 동일성 분류와 같은 하류 작업에서 최신 기술 수준의 성능을 달성하며, 주의 메커니즘이 시퀀스 쌍으로부터 은밀하게 결합 관련 패턴을 학습함을 보여준다.

ABSTRACT

Less than 1% of protein sequences are structurally and functionally annotated. Natural Language Processing (NLP) community has recently embraced self-supervised learning as a powerful approach to learn representations from unlabeled text, in large part due to the attention-based context-aware Transformer models. In this work we present a modification to the RoBERTa model by inputting during pre-training a mixture of binding and non-binding protein sequences (from STRING database). However, the sequence pairs have no label to indicate their binding status, as the model relies solely on Masked Language Modeling (MLM) objective during pre-training. After fine-tuning, such approach surpasses models trained on single protein sequences for protein-protein binding prediction, TCR-epitope binding prediction, cellular-localization and remote homology classification tasks. We suggest that the Transformer's attention mechanism contributes to protein binding site discovery. Furthermore, we compress protein sequences by 64% with the Byte Pair Encoding (BPE) vocabulary consisting of 10K subwords, each around 3-4 amino acids long. Finally, to expand the model input space to even larger proteins and multi-protein assemblies, we pre-train Longformer models that support 2,048 tokens. Further work in token-level classification for secondary structure prediction is needed. Code available at: https://github.com/PaccMann/paccmann_proteomics

연구 동기 및 목표

• 라벨이 없는 결합성 및 비결합성 단백질 쌍의 혼합물에서 사전 훈련을 통해 하류 작업 성능을 향상시키는 것.
• 시퀀스 쌍을 사용한 자기지도 학습이 단백질 결합 부위와 같은 생물학적으로 관련된 패턴을 발견하는 데 기여하는지 탐구하는 것.
• 장단백질 및 다단백질 복합체를 위한 최대 2,048 토큰을 지원하는 Longformer 변형을 사전 훈련하여 장시간 시퀀스 모델링을 가능하게 하는 것.
• 10,000개의 서브워드 어휘를 사용한 바이트 쌍 인코딩(BPE)을 통해 시퀀스 표현 공간을 64% 감소시키는 것.
• 자기지도 사전 훈련을 통해 주의 메커니즘이 알파 나선과 같은 구조적 모티프를 감지하는 데 기여하는지 탐색하는 것.

제안 방법

• STRING 데이터베이스에서 추출한 단백질 시퀀스 쌍의 혼합물에서 마스크된 언어 모델링(MLM) 목적함수만을 사용하여 RoBERTa 모델을 사전 훈련한다. 이때 한 시퀀스는 알려진 결합성 단백질이고, 다른 한 시퀀스는 무작위로 선택된 단백질이다.
• 3~4개의 아미노산 조각을 하나의 토큰으로 표현하기 위해 10,000개의 어휘를 사용한 BPE 서브워드 토크나이제이션 기법을 사용하여 단백질 시퀀스 공간을 64% 압축한다.
• 단백질-단백질 결합 예측, TCR-항원 결정부 결합, 세포소기관 국소화, 원거리 동일성 분류와 같은 하류 작업에서 사전 훈련된 모델을 미세조정한다.
• 최대 2,048개 토큰의 컨텍스트 창을 지원하는 Longformer 변형을 훈련하여 장시간 단백질 시퀀스 및 다단백질 복합체를 처리할 수 있도록 한다.
• 층별 주의 패턴을 분석하여 알파 나선과 관련된 주기적인 4개 아미노산 패턴과 같은 모티프를 식별한다.
• 미세조정 전후의 주의 패턴을 비교하여, BOS/EOS 토큰에 대한 과도한 의존도 감소 및 Q, K, C와 같은 功能적으로 중요한 잔기 영역에 대한 주의 증가 여부를 평가한다.

실험 결과

연구 질문

• RQ1 라벨이 없는 단백질 쌍에서 사전 훈련된 단백질 언어 모델이, 결합 여부 레이블 없이도 하류 분류 성능을 향상시킬 수 있는가?
• RQ2 자기지도 학습 모델의 주의 메커니즘이 은밀하게 단백질 결합 부위와 알파 나선과 같은 구조적 모티프를 감지하는가?
• RQ3 더 큰, 더 깊은 모델을 더 큰 데이터셋에서 적은 에포크 수로 훈련하면, 더 작은 데이터셋에서 더 많은 에포크 수로 훈련된 더 작은, 浅층 모델보다 성능이 뛰어나지는가?
• RQ4 BPE 기반 서브워드 토크나이제이션은 생물학적 정보를 유지하면서도 시퀀스 표현 공간을 상당히 감소시킬 수 있는가?
• RQ5 미세조정은 사전 훈련된 모델의 주의 패턴을 어떻게 변화시키는가? 특히 생물학적으로 관련된 잔기와의 집중도 증가 및 특수 토큰에 대한 과도한 의존도 감소 측면에서 평가한다.

주요 결과

• 모델은 단백질-단백질 결합 예측, TCR-항원 결정부 결합, 세포소기관 국소화, 원거리 동일성 분류 작업에서 단일 시퀀스 기반 사전 훈련 모델보다 뛰어난 성능을 보였다.
• 시퀀스 쌍에서의 사전 훈련은 알파 나선과 관련된 주기적인 4개 아미노산 패턴을 감지하는 주의 패턴을 유도하여, 2차 구조를 은밀하게 학습함을 시사한다.
• 미세조정은 BOS 및 EOS 토큰에 대한 과도한 의존도를 감소시키고, 결합 영역에서 Q, K, C와 같은 功能적으로 중요한 잔기 영역에 대한 주의를 증가시켰다.
• 사전 훈련 과정에서 명시적 결합 레이블을 사용하지 않았음에도 불구하고 뛰어난 성능을 달성하여, 쌍 시퀀스에서의 MLM 목적함수가 결합 관련 표현을 효과적으로 포착함을 시사한다.
• Longformer 변형은 최대 2,048 토큰까지의 시퀀스를 성공적으로 지원하여 장단백질 및 다단백질 복합체의 모델링을 가능하게 하였다.
• 더 큰, 더 깊은 모델을 더 큰 데이터셋에서 적은 에포크 수로 사전 훈련하면, 더 작은 데이터셋에서 더 많은 에포크 수로 훈련된 더 작은 모델보다 더 나은 하류 성능을 얻을 수 있음을 입증하였다.