[논문 리뷰] Antibody Representation Learning for Drug Discovery

Lin Li, Esther Gupta외 4명|arXiv (Cornell University)|2022. 10. 05.

Monoclonal and Polyclonal Antibodies Research인용 수 8

한 줄 요약

이 논문은 약물 발굴에서 항체 결합 친화도 예측을 햖थ기 위해 자기지도 학습을 통해 사전 훈련된 언어 모델, 특히 BERT 기반 표현을 사용하는 것을 제안한다. 대규모 인간 항체 서열에서 미세조정(fine-tuning)을 통해 기존의 통계 모델과 지도 학습보다 뛰어난 성능을 달성하며, 특히 데이터가 제한된 경우에 이는 일반 단백질 사전 훈련이 항체 전용 사전 훈련보다 더 우수한 기능적 표현을 도출한다는 것을 보여준다.

ABSTRACT

Therapeutic antibody development has become an increasingly popular approach for drug development. To date, antibody therapeutics are largely developed using large scale experimental screens of antibody libraries containing hundreds of millions of antibody sequences. The high cost and difficulty of developing therapeutic antibodies create a pressing need for computational methods to predict antibody properties and create bespoke designs. However, the relationship between antibody sequence and activity is a complex physical process and traditional iterative design approaches rely on large scale assays and random mutagenesis. Deep learning methods have emerged as a promising way to learn antibody property predictors, but predicting antibody properties and target-specific activities depends critically on the choice of antibody representations and data linking sequences to properties is often limited. Existing works have not yet investigated the value, limitations and opportunities of these methods in application to antibody-based drug discovery. In this paper, we present results on a novel SARS-CoV-2 antibody binding dataset and an additional benchmark dataset. We compare three classes of models: conventional statistical sequence models, supervised learning on each dataset independently, and fine-tuning an antibody specific pre-trained language model. Experimental results suggest that self-supervised pretraining of feature representation consistently offers significant improvement in over previous approaches. We also investigate the impact of data size on the model performance, and discuss challenges and opportunities that the machine learning community can address to advance in silico engineering and design of therapeutic antibodies.

연구 동기 및 목표

• 항체 결합 친화도 예측을 위한 자기지도 사전 훈련된 언어 모델의 효과성을 평가하는 것.
• 기존의 통계 모델과 지도 학습 모델을 항체 서열 데이터에서의 성능과 비교하는 것.
• 사전 훈련 데이터의 다양성과 크기가 최종 예측 성능에 미치는 영향을 조사하는 것.
• 다양한 항체 데이터셋과 훈련 데이터 크기에서 학습된 표현의 강건성과 일반화 능력을 평가하는 것.
• 항체 성질 예측에서 효율적이고 효과적인 모델 훈련을 위한 최적의 데이터 크기 임계값을 규명하는 것.

제안 방법

• 수백만 개의 인간 항체 서열과 일반 단백질 서열에서 사전 훈련된 BERT 기반 트랜스포머 모델을 항체 서열에 대해 미세조정하는 것.
• 평가를 위해 새로운 코로나19 항체 결합 데이터셋과 추가적인 벤치마크 데이터셋을 사용하는 것.
• 세 가지 모델 유형을 비교: 기존의 통계 모델(예: PSSM 특징에 대한 리지 회귀), 각 데이터셋에서 독립적으로 지도 학습, 사전 훈련된 임베딩에 대해 미세조정한 모델.
• 전이 학습을 통해 사전 훈련된 모델에서 특징을 추출하고, 이를 최종 회귀 작업(예: 가우시안 프로세스 또는 리지 회귀)에 적용하는 것.
• Pfam, 인간 항체 서열, 병합된 데이터셋을 포함한 사전 훈련 데이터 소스에 대한 분석 실험을 수행하는 것.
• 각 크기별로 10번의 무작위 훈련/검증 세트 분할을 수행하며, 테스트 세트에서 피어슨 상관계수를 사용해 모델 성능을 평가하는 것.

실험 결과

연구 질문

• RQ1 자기지도 사전 훈련된 항체 표현은 기존 모델 대비 결합 친화도 예측 성능을 향상시키는가?
• RQ2 항체 전용, 일반 단백질, 또는 다양한 Pfam 서열 중에서 어떤 사전 훈련 데이터 소스가 항체 기능 예측에 가장 효과적인 표현을 제공하는가?
• RQ3 훈련 데이터셋 크기가 모델 성능에 미치는 영향은 무엇이며, 비용 효율적인 모델 훈련을 위한 최적의 데이터 크기는 얼마인가?
• RQ4 사전 훈련된 표현은 데이터가 적은 환경에서 항체 친화도 예측의 분산을 줄이고 강건성을 향상시키는가?
• RQ5 학습된 표현이 알려진 항체의 기능 원리와 일치하는 생물학적으로 의미 있는 특징을 포착하고 있는가?

주요 결과

• 항체 서열에 대해 사전 훈련된 BERT 기반 모델을 미세조정하는 것은 데이터가 제한된 경우에도 기존의 통계 모델과 개별 데이터셋에서의 지도 학습보다 일관되게 뛰어난 성능을 보인다.
• 가장 뛰어난 성능을 보인 모델은 가장 다양하고 일반적인 단백질 데이터셋(Pfam)에서 사전 훈련된 것으로, 더 넓은 생물학적 맥락이 기능적 표현 학습을 향상시킨다는 것을 시사한다.
• 3,200에서 6,400개의 샘플 사이의 훈련 데이터 크기에서 성능 향상 폭이 가장 커서, 효율적인 데이터 컬렉션을 위한 중요한 임계점임을 나타낸다.
• 사전 훈련된 모델에 대해 미세조정된 가우시안 프로세스 회귀를 적용한 결과, 무작위 데이터 분할 간 분산이 낮고 기존 모델보다 뛰어난 성능을 보였으며, 이는 강건성 향상을 의미한다.
• 사전 훈련된 모델에서 추출한 PSSM 특징을 기반으로 훈련된 모델의 성능이, 직접 PSSM 특징을 사용해 훈련한 모델보다 뛰어나, 표현 학습의 가치를 강조한다.
• 결과는 항체의 기능적 특성이 항체 서열에만 암묵적으로 포함되는 것이 아니라, 사전 훈련 과정에서 포착된 보다 넓은 단백질 수준의 구조적 및 진화적 패턴에 의해 영향을 받는다는 것을 시사한다.