[논문 리뷰] ABodyBuilder3: Improved and scalable antibody structure predictions

Henry Kenlay, Frédéric A. Dreyer외 3명|arXiv (Cornell University)|2024. 05. 31.

Monoclonal and Polyclonal Antibodies ResearchMedicine인용 수 3

한 줄 요약

ABodyBuilder3는 단일 예측을 통해 계산 비용이 높은 앙상블을 제거하면서도, 단백질 언어 모델 임베딩과 학습된 pLDDT 불확실성 헤드를 통합함으로써 정확도를 향상시키는 최신 기술 기반의 확장 가능한 항체 구조 예측 모델이다. 특히 변동성이 높은 CDRH3 도메인의 예측 정확도가 향상되며, 혼합 정밀도 학습과 벡터화된 구현을 통해 더 빠르고 효율적인 추론이 가능해진다.

ABSTRACT

Accurate prediction of antibody structure is a central task in the design and development of monoclonal antibodies, notably to understand both their developability and their binding properties. In this article, we introduce ABodyBuilder3, an improved and scalable antibody structure prediction model based on ImmuneBuilder. We achieve a new state-of-the-art accuracy in the modelling of CDR loops by leveraging language model embeddings, and show how predicted structures can be further improved through careful relaxation strategies. Finally, we incorporate a predicted Local Distance Difference Test into the model output to allow for a more accurate estimation of uncertainties.

연구 동기 및 목표

• 항체 구조 예측의 정확도를 향상시키며, 특히 항원 결합에 핵심적인 역할을 하는 높은 다양성을 보이는 CDRH3 도메인의 정확도를 높이기 위해.
• 기존 앙상블 기반 방법에 비해 계산 오버헤드를 줄이는 확장 가능하고 효율적인 추론 파이프라인을 개발하기 위해.
• 기존 앙상블 기반 신뢰도 추정 방식을 대체하여 보다 정확하고 효율적인 불확실성 정량화를 위한 개별 잔류물 수준의 pLDDT 점수를 학습된 헤드로 도입하기 위해.
• 개선된 데이터 쿠리네이션, 시퀀스 표현 방식 및 구조 정밀화 전략을 통해 모델 성능을 향상시키기 위해.
• 합리적인 약물 설계를 위한 고속, 정밀한 치료용 항체 구조 예측을 가능하게 하기 위해.

제안 방법

• 모델는 ABodyBuilder2 아키텍처를 기반으로 한 여덟 개의 구조 모듈로 구성되며, 불변점 주의 메커니즘과 백본 좌표 정밀화를 통해 업데이트된다.
• 시퀀스-구조 관계를 더 잘 포착하기 위해, 특히 CDRH3에 대해선 단백질 언어 모델 임베딩(예: ProtT5)을 입력 표현으로 사용한다.
• 다층 퍼셉트론과 소프트맥스 활성화 함수를 사용한 학습된 pLDDT 헤드가 잔류물 수준의 신뢰도 점수를 예측하며, 이는 진짜 lDDT-Cα 점수에 대한 교차 엔트로피 손실을 통해 학습된다.
• 혼합 정밀도(bfloat16)와 벡터화된 연산을 사용하여 하드웨어 활용도를 향상시키고, 학습 및 추론 속도를 가속화한다.
• 예측 후 구조 정밀화를 위해 신중한 리프레시 전략을 적용하여 모델 정확도를 추가로 향상시킨다.
• 불확실성 추정은 pLDDT 출력에서 직접 유도되며, ABodyBuilder2에서 사용하던 이전의 앙상블 기반 접근 방식을 대체한다.

Figure 1: Left: Overview of an antibody structure, with the variable region and CDR loops shown. Right: Schematic representation of the ABodyBuilder3 architecture, with 8 sequential and independent update blocks providing the final atomic coordinates and uncertainty predictions from an embedding rep

실험 결과

연구 질문

• RQ1 단백질 언어 모델 임베딩은 항체의 CDRH3 도메인 예측 정확도를 상당히 향상시킬 수 있는가?
• RQ2 단일 모델 기반의 pLDDT 헤드는 앙상블 기반 방법에 비해 더 정확하고 효율적인 불확실성 추정을 가능하게 하는가?
• RQ3 벡터화된 혼합 정밀도 학습은 항체 구조 예측 모델의 확장성과 계산 효율성에 어떻게 기여하는가?
• RQ4 개선된 데이터 쿠리네이션 및 구조 정밀화 전략은 전체 예측 정확도에 얼마나 기여하는가?
• RQ5 pLDDT 점수는 CDRH3에 대해 특히 높은 신뢰도 예측을 식별하는 신뢰할 수 있는 임계값으로 사용될 수 있는가?

주요 결과

• ABodyBuilder3는 단일 예측을 사용할 경우 평균 CDRH3 RMSD가 0.61 Å로, ABodyBuilder2의 0.57 Å보다 유의미하게 향상되었다.
• ProtT5 임베딩을 사용한 모델(ABodyBuilder3-LM)은 CDRH3 RMSD가 0.73 Å로, 고급 시퀀스 표현 방식의 유용성을 입증하였다.
• pLDDT 기반의 불확실성 추정은 CDRH3 영역 전체에서 RMSD와 0.58의 피어슨 상관관계를 보였으며, ABodyBuilder2에서 사용하던 앙상블 기반 방법을 능가하였다.
• pLDDT 임계값 85를 사용할 경우 CDRH3의 32%가 유지되었으며, 그 중 80% 이상에서 CDRH3 RMSD가 2.0 Å 이하로 나타났다.
• 벡터화된 혼합 정밀도 학습과 최적화된 하드웨어 활용 덕분에 ABodyBuilder2보다 3배 이상 빠른 속도를 기록하였다.
• pLDDT 헤드 덕분에 추가적인 계산 오버헤드 없이 정확한 불확실성 추정이 가능해졌으며, 다중 모델 추론의 필요성을 제거하였다.

Figure 2: Left: Structure predicted by ABodyBuilder3, with colouring indicating the pLDDT uncertainty estimate. The ground truth (7T0J) is shown in grey. Right: Distribution of CDRH3 RMSD across different bins of the CDRH3 pLDDT score.