[논문 리뷰] Generative Antibody Design for Complementary Chain Pairing Sequences through Encoder-Decoder Language Model

Simon K. S. Chu, Kathy Y. Wei|arXiv (Cornell University)|2023. 01. 06.

Monoclonal and Polyclonal Antibodies ResearchMedicine인용 수 3

한 줄 요약

이 논문은 321만 개의 쌍체로 구성된 항체 서열로 미세조정된 시퀀스-투-시퀀스 프레임워크를 사용하여, 짝을 이루는 파트너를 조건으로 하강 또는 경량 체인을 생성하는 인코더-디코더 단백질 언어 모델인 pAbT5를 소개한다. 모델은 프레임워크 보존성과 고변동 영역의 다양성을 성공적으로 포착하며, 체인 유형과 유전자 가문을 정확히 복원하여 생성된 항체 설계에서 생물학적 제약 조건을 통합할 수 있음을 보여준다.

ABSTRACT

Current protein language models (pLMs) predominantly focus on single-chain protein sequences and often have not accounted for constraints on generative design imposed by protein-protein interactions. To address this gap, we present paired Antibody T5 (pAbT5), an encoder-decoder model to generate complementary heavy or light chain from its pairing partner. We show that our model respects conservation in framework regions and variability in hypervariable domains, demonstrated by agreement with sequence alignment and variable-length CDR loops. We also show that our model captures chain pairing preferences through the recovery of ground-truth chain type and gene families. Our results showcase the potential of pAbT5 in generative antibody design, incorporating biological constraints from chain pairing preferences.

연구 동기 및 목표

• 기존 단백질 언어 모델이 단일 체인 서열에 집중하고 단백질-단백질 상호작용에서의 공진화적 제약 조건을 忽시하는 한계를 해결하기 위해.
• 짝을 이루는 파트너를 조건으로 하강 또는 경량 체인을 생물학적으로 타당한 방식으로 생성하는 생성 모델을 개발하기 위해.
• 모델이 프레임워크 영역의 서열 보존성과 변동 영역(CDRs)의 가변성을 얼마나 잘 포착하는지 평가하기 위해.
• 조건부 생성 중에 모델이 참값의 체인 유형과 유전자 가문을 얼마나 정확히 복원하는지 평가하기 위해.
• 엄격한 노드 기반 데이터 분할을 사용하여 모델의 새로운 서열과 쌍화에 대한 일반화 능력을 테스트하기 위해.

제안 방법

• 모델는 OAS 데이터베이스의 쌍체 VH-VL 서열로 미세조정된 T5 기반 인코더-디코더 아키텍처를 사용하며, 미세조정 중에 인코더 가중치는 동결된다.
• 시퀀스-투-시퀀스 생성은 앞서 번역(경량 → 상중량)과 역번역(상중량 → 경량)으로 설정되며, 체인 유형이나 종류에 대한 접두사나 간격 토큰은 사용하지 않는다.
• 모델는 인간, 마우스, 랩 등 3종의 종에서 239만 개의 고유한 항체 서열에서 유래한 321만 개의 번역 샘플을 사용하여 훈련하며, 독립된 노드 분할 기반의 90-5-5 훈련/검증/테스트 분할을 사용한다.
• 미세조정은 로컬 배치 크기 8, 글로벌 배치 크기 2048, 초기 학습률 5e-5, 그래디언트 클리핑이 적용된 AdaFactor 옵timizer를 사용하며, 8개의 A100 GPU에서 2일간 훈련된다.
• 모델 성능 평가는 다음 단어 예측 신뢰도, 서열 정렬, 임베딩의 t-SNE 시각화, 쌍체 서열 복원에 대한 제로샷 퍼플렉서티 순위 평가를 통해 평가된다.
• 교차 어텐션 맵과 서열 일치도/길이 비교를 통해 프레임워크 및 CDR 영역에서의 어텐션 패tern과 생성 정확도를 분석한다.

실험 결과

연구 질문

• RQ1 모델은 프레임워크 영역의 보존성과 변동 영역인 CDR 루프의 가변성을 존중하는 항체 서열을 생성할 수 있는가?
• RQ2 모델은 타겟 서열의 올바른 체인 유형과 유전자 가문을 복원함으로써 체인 쌍화 선호도를 포착하는가?
• RQ3 엄격한 노드 기반 데이터 분할 조건 하에서 모델은 새로운 항체 서열과 쌍화에 얼마나 잘 일반화되는가?
• RQ4 모델의 어텐션 메커니즘이 특히 프레임워크 영역과 변동 영역을 구분하는 데 생물학적 관련성을 반영하는가?
• RQ5 제로샷 설정에서 모델의 (가짜)퍼플렉서티가 쌍체 서열을 정확히 순위 매길 수 있는가, 이는 기능적 관련성을 시사하는가?

주요 결과

• 모델는 프레임워크 영역에서 높은 다음 단어 예측 신뢰도를 보이며, 변동 영역인 CDR 루프에서는 불확실성이 증가하여 위치 특화 스코링 매트릭스에서의 서열 보존 프로파일과 일치한다.
• 생성된 서열은 프레임워크 영역에서 관측된 서열과 높은 일치도를 보이며(예: 경량의 FR4 일치도: 9.94±0.36, 상중량의 FR4 일치도: 11.00±0.00), CDR 영역에서도 합리적인 유사성을 보인다(예: 경량의 CDR3 일치도: 9.63±1.06, 상중량의 CDR3 일치도: 12.32±3.93).
• 클래스피케이션 작업에서 체인 유형은 55%의 정확도로, 유전자 가문은 62% AUROC로 복원되어 쌍화 선호도의 효과적인 포착을 나타낸다.
• 인코더 히든 상태의 t-SNE 시각화에서는 체인 유형, 유전자 락스, IGHV 가문에 따라 명확한 클러스터링이 관찰되어 모델이 생물학적으로 의미 있는 표현을 학습했다는 것을 확인한다.
• 제로샷 퍼플렉서티 순위 평가에서 모델은 여러 데이터셋에서 베이스라인을 능가하며, 12개 데이터셋에서 평균 절대 스피어만 순위 상관 차이가 -0.05에서 -0.15 범위로 pAbT5 유리하게 나타난다.
• 아블레이션 연구는 모델의 성능가 데이터 클러스터링에 대해 강건하며, 인코더-디코더 아키텍처가 정확한 쌍화 예측에 핵심적임을 확인한다.