[논문 리뷰] PeptideBERT: A Language Model based on Transformers for Peptide Property Prediction

Chakradhar Guntuboina, Adrita Das외 3명|arXiv (Cornell University)|2023. 08. 28.

Machine Learning in BioinformaticsBiochemistry, Genetics and Molecular Biology인용 수 3

한 줄 요약

PeptideBERT는 단백질 서열에서 사전 훈련된 ProtBERT를 미세조정하여 아미노산 서열만을 사용해 헤모리시스, 비오염성, 용해도와 같은 핵심 펩타이드 성질을 예측하는 트랜스포머 기반 언어 모델이다. 헤모리시스 예측에서 SOTA 성능(83.01% 정확도)을 달성하고 비오염성 및 용해도 작업에서도 뛰어난 성과를 보이며, 구조적 데이터 없이 단백질 서열에서의 사전 훈련이 펩타이드 성질 모델링에 효과적임을 입증한다.

ABSTRACT

Recent advances in Language Models have enabled the protein modeling community with a powerful tool since protein sequences can be represented as text. Specifically, by taking advantage of Transformers, sequence-to-property prediction will be amenable without the need for explicit structural data. In this work, inspired by recent progress in Large Language Models (LLMs), we introduce PeptideBERT, a protein language model for predicting three key properties of peptides (hemolysis, solubility, and non-fouling). The PeptideBert utilizes the ProtBERT pretrained transformer model with 12 attention heads and 12 hidden layers. We then finetuned the pretrained model for the three downstream tasks. Our model has achieved state of the art (SOTA) for predicting Hemolysis, which is a task for determining peptide's potential to induce red blood cell lysis. Our PeptideBert non-fouling model also achieved remarkable accuracy in predicting peptide's capacity to resist non-specific interactions. This model, trained predominantly on shorter sequences, benefits from the dataset where negative examples are largely associated with insoluble peptides. Codes, models, and data used in this study are freely available at: https://github.com/ChakradharG/PeptideBERT

연구 동기 및 목표

• 구조적 데이터가 필요 없이 서열만을 사용하는 펩타이드 성질 예측 모델을 개발하기 위해.
• ProtBERT와 같은 사전 훈련된 단백질 언어 모델을 활용해 하류 펩타이드 성질 예측 작업을 수행하기 위해.
• 자기지도 학습을 통한 사전 훈련을 통해 헤모리시스, 비오염성, 용해도와 같은 치료적 중요 성질의 예측 정확도를 향상시키기 위해.
• 대규모 단백질 서열에서의 자기지도 학습 전이 학습이 더 짧고 기능적으로 중요한 펩타이드 서열으로의 일반화를 가능하게 함을 입증하기 위해.

제안 방법

• 12층 트랜스포머, 12개의 어텐션 헤드, 480개의 히든 유닛을 가진 미세조정된 ProtBERT를 세 가지 펩타이드 성질 예측 작업에 적용.
• 헤모리시스, 비오염성, 용해도 분류를 위한 작업별 헤드 레이어를 공유하는 인코더 아키텍처를 사용.
• 내성 및 성능 트레이드오��� 평가를 위해 15%, 20%, 30% 마스킹 확률을 사용해 데이터 증강을 적용.
• 학습률 1.0×10⁻⁵, 배치 크기 32, 드롭아웃 비율 0.15, 내성 4, 요인 0.1을 가진 학습률 스케줄러를 사용.
• 모델 깊이 및 어텐션 헤드 수에 대한 추론 실험을 통해 아키텍처 영향을 평가.
• 조기 정지와 학습률 스케줄링을 사용해 교차 엔트로피 손실을 기반으로 엔드 투 엔드로 모델을 훈련하여 안정적인 수렴을 확보.

실험 결과

연구 질문

• RQ1 ProtBERT와 같은 사전 훈련된 단백질 언어 모델이 아미노산 서열만을 사용해 효과적으로 펩타이드 성질 예측에 미세조정될 수 있는가?
• RQ2 PeptideBERT는 헤모리틱 활성, 비오염성, 용해도 예측에서 기존 SOTA 모델과 비교해 어떻게 성능을 내는가?
• RQ3 무작위 마스킹을 통한 데이터 증강이 용해도 예측의 일반화 및 성능에 어떤 영향을 미치는가?
• RQ4 깊이 및 어텐션 헤드 수와 같은 아키텍처 선택이 다양한 펩타이드 성질 예측 작업에서 예측 정확도에 미치는 영향은 어떠한가?
• RQ5 대규모 단백질 서열에서의 자기지도 학습 전이 학습이 더 짧고 기능적으로 중요한 펩타이드 서열으로 얼마나 잘 일반화되는가?

주요 결과

• PeptideBERT는 12층, 12개의 어 totalCount 헤드 아키텍처를 사용해 헤모리시스 예측에서 SOTA 성능(83.010% 정확도)을 달성했다.
• 15% 마스킹 확률에서 용해도 예측 정확도가 68.784%였으며, 마스킹 비율이 높아질수록 감소했다.
• 비오염성 모델은 높은 정확도를 기록했으며, 2~20개 잔기로 구성된 짧은 서열에서도 최소한의 구조적 입력으로 강력한 성능을 보였다.
• 추론 실험 결과, 모델 깊이 및 어 totalCount 헤드 수가 일정 수준 이상으로 증가하면 성능 향상의 효과가 점점 감소했으며, 48층 모델은 오직 78.865%의 정확도를 기록했다.
• 훈련 시간은 작업에 따라 달라졌으며, 용해도 예측이 가장 오래 걸렸다(116.42분), 이어서 헤모리시스(69.28분), 비오염성(58.28분) 순이었다.
• 최적의 학습률로 1.0×10⁻⁵를 결정했으며, 이는 모든 작업에서 수렴 속도와 과적합 방지를 균형 잡는 데 기여했다.