[논문 리뷰] On Pre-trained Language Models for Antibody

Danqing Wang, Fei Ye외 1명|arXiv (Cornell University)|2023. 01. 28.

RNA and protein synthesis mechanisms인용 수 4

한 줄 요약

이 논문은 항체 임상 과제에서 다양하게 변화하는 특이성 수준에 걸쳐 사전 훈련된 언어 모델을 평가하기 위한 최초의 종합적 벤치마크인 ATUE를 소개한다. 또한, 조상 게놈 예측과 돌연변이 위치 예측이라는 항체 전용 진화적 목표로 미세조정된 EATLM 모델을 제안하며, 일반 모델 및 기존 항체 전용 모델보다 성능이 향상되었음을 입증한다. 특히 고특이성 과제와 실제 SARS-CoV-2 항체 발견 과제에서 두드러진 성능 향상을 보였다.

ABSTRACT

Antibodies are vital proteins offering robust protection for the human body from pathogens. The development of general protein and antibody-specific pre-trained language models both facilitate antibody prediction tasks. However, there have been limited studies that comprehensively explore the representation capability of distinct pre-trained language models on different antibody tasks. To investigate the problem, we aim to answer several key questions in this paper, such as how pre-trained language models perform in antibody tasks with different specificity and how introducing specific biological mechanisms to the pre-training process can benefit the model. Additionally, we evaluate if the learned antibody pre-trained representations can be applied to real-world antibody problems, like drug discovery and immune process understanding. Previously, no benchmark available largely hindered the study to answer these questions. To aid in our investigation, we provide an AnTibody Understanding Evaluation (ATUE) benchmark. We comprehensively evaluate the performance of protein pre-trained language models by empirical study along with conclusions and new insights. Our ATUE and code are released at https://github.com/dqwang122/EATLM.

연구 동기 및 목표

• 사전 훈련된 언어 모델이 항체 전용 과제에서 평가되는 데 있어 표준화된 벤치마크가 부족한 문제를 해결하기 위해.
• 항체 과제의 생물학적 특이성 수준이 다양할 때 사전 훈련된 모델의 성능을 어떻게 평가할 수 있는지 조사하기 위해.
• 사전 훈련 과정에 항체 전용 진화 메커니즘을 통합하면 표현 학습이 향상되는지 탐색하기 위해.
• 실제 응용 분야인 약물 개발 및 면역계 이해와 같은 분야에서 사전 훈련된 항체 표현의 실용적 유용성을 평가하기 위해.
• 실증적 평가 및 아블레이션 연구를 바탕으로 보다 나은 항체 표현 모델 설계를 위한 실질적 지침을 제공하기 위해.

제안 방법

• 항체 파라토프 예측, B세포 수용체 분류, 개인 수준의 질병 진단, 환자 수준의 질병 분류 등 네 가지 실제 응용 사례를 포함한 감독 학습 과제로 구성된 ATUE 벤치마크를 제안하였다.
• 진화적 선조 계보를 모델링하기 위한 조상 게놈 예측(AGP), 그리고 체세포 고도변이를 시뮬레이션하기 위한 돌연변이 위치 예측(MPP)이라는 두 가지 새로운 사전 훈련 목표를 설계하였다.
• AGP 및 MPP 목표를 사용하여 마스킹 언어 모델링을 통한 미세조정을 통해 항체 전용 표현 학습을 향상시킨 EATLM을 개발하였다.
• 모든 ATUE 과제에서 일반 단백질 모델(ESM, MSA-1b), 항체 전용 모델(AntiBERT), 비사전 훈련 기반 기준 모델과의 성능 비교를 수행하였다.
• AGP 및 MPP 구성 요소를 제거하여 아블레이션 연구를 수행함으로써 각 요소의 개별 및 통합 기여도를 평가하였다.
• 실제 SARS-CoV-2 항체 발견 과제를 통해 모델 성능을 검증하여 실용적 적용 가능성을 평가하였다.

실험 결과

연구 질문

• RQ1 생물학적 특이성 수준이 다른 항체 과제에서 사전 훈련된 언어 모델의 성능는 어떻게 나타나는가?
• RQ2 항체 전용 진화 메커니즘(예: 게놈 선조 및 체세포 고도변이)을 사전 훈련에 통합하면 표현 학습이 향상되는가?
• RQ3 사전 훈련된 모델이 학습한 표현은 항체의 기능적 이해가 요구되는 실제 응용 분야(예: 치료용 항체 개발, 면역 과정 이해)로 일반화되는가?
• RQ4 사전 훈련 목표 중 AGP와 MPP 중 어떤 요소가 고특이성 과제에서 성능 향상에 가장 기여하는가?
• RQ5 항체 서열의 깊은 기능적 이해가 요구되는 과제에서 일반 단백질 모델과 항체 전용 모델 간의 성능 비교는 어떻게 이루어지는가?

주요 결과

• ESM와 같은 일반 단백질 언어 모델은 저특이성 과제에서는 잘 수행되지만, 고특이성 항체 과제에서는 성능이 크게 떨어진다.
• AntiBERT는 고특이성 과제에서 비사전 훈련 기반 모델을 일관되게 능가하지 못하며, 이는 현재 항체 전용 사전 훈련 전략의 한계를 시사한다.
• AGP 및 MPP 목표를 모두 포함한 EATLM은 모든 ATUE 과제에서 최고 성능을 기록하였으며, 환자 수준 진단 과제에서 AUC 점수로 0.988(SARS), 0.990(HIV), 1.000(Ebola)를 기록하였다.
• 아블레이션 연구 결과, MPP를 제거할 경우 성능 저하가 가장 심각했으며, 특히 SLE 및 MS 과제에서 AUC 점수가 각각 0.827로 하락하였다.
• AGP 없이도 EATLM은 여전히 뛰어난 성능를 보이며, 이는 MPP가 항체의 기능적 특징을 포착하는 데 AGP보다 더 중요하다는 것을 시사한다.
• SARS-CoV-2 항체 발견 과제에서 EATLM은 모든 기준 모델을 앞서며, 실제 치료제 개발 응용 분야에서의 실용적 유용성을 입증하였다.