[논문 리뷰] AntiBARTy Diffusion for Property Guided Antibody Design

Jordan Venderley|arXiv (Cornell University)|2023. 09. 22.

Monoclonal and Polyclonal Antibodies ResearchMedicine인용 수 3

한 줄 요약

이 논문은 새로운 생성 프레임워크인 AntiBARTy Diffusion을 제안한다. 이는 항체 전용 BART 기반 언어 모델(antiBARTy)과 특성 조건부 확산 모델을 결합하여 신규 IgG 항체를 설계한다. 고정된 잠재 표현을 활용하고 분류기 없는 가이던스를 적용함으로써, 시퀀스 다양성과 유효성을 유지하면서도 개선된 시뮬레이션 상의 용해도를 가진 새로운 유효한 항체를 성공적으로 생성한다. 이는 고정된 편집 예산 없이도 효과적인 특성 유도 생성을 가능하게 한다.

ABSTRACT

Over the past decade, antibodies have steadily grown in therapeutic importance thanks to their high specificity and low risk of adverse effects compared to other drug modalities. While traditional antibody discovery is primarily wet lab driven, the rapid improvement of ML-based generative modeling has made in-silico approaches an increasingly viable route for discovery and engineering. To this end, we train an antibody-specific language model, AntiBARTy, based on BART (Bidirectional and Auto-Regressive Transformer) and use its latent space to train a property-conditional diffusion model for guided IgG de novo design. As a test case, we show that we can effectively generate novel antibodies with improved in-silico solubility while maintaining antibody validity and controlling sequence diversity.

연구 동기 및 목표

• 희망적인 생물물리적 특성을 향한 시퀀스 생성을 유도하는 계산적으로 효율적인, 시뮬레이션 기반의 신규 항체 설계 방법을 개발한다.
• 기존 실험 중심의 발견 방식의 한계를 극복하기 위해 대규모 항체 시퀀스 데이터와 심층 생성 모델을 활용한다.
• 고정된 편집 예산에 의존하지 않고도 자연스럽게 삽입과 삭제를 포함하는 유연하고 가변 길이의 시퀀스 생성을 가능하게 한다. 이는 친화력 개선 과정에 핵심적이다.
• 시뮬레이션 상의 용해도 점수를 조건부로 하여 항체의 개발 가능성을 향상시키면서도, 구조적 및 원천 유전자 정체성을 유지한다.
• 고정된 언어 모델 잠재 표현을 확산 기반 생성의 사전 지식으로 사용할 수 있음을 입증한다.

제안 방법

• OAS에서 확보한 254M개의 인간 IgG 무거운 사슬과 342M개의 가벼운 사슬에 더해 UniProtKB에서 확보한 28M개의 시퀀스를 기반으로, 마스크링, 삭제, 삽입, 메타데이터 보완을 통한 시퀀스 손상 전략을 적용해 항체 전용 BART 스타일 트랜스포머(antiBARTy)를 미리 훈련한다.
• antiBARTy의 고정된 인코더를 활용해 항체 시퀀스에서 잠재 표현을 추출함으로써 항체 시퀀스 공간에 강력한 사전 지식를 확보한다.
• 이러한 고정된 잠재 표현을 기반으로 조건부 확산 모델을 훈련하며, Protein-Sol의 시뮬레이션 상 용해도 점수를 특성 가이던스로 사용하고, 별도의 분류기 모델을 필요로 하지 않는 분류기 없는 가이던스를 적용한다.
• 용해도 클래스(낮음 <0.45, 높음 >0.7)에 따라 조건부 임베딩을 사용하고, 클래스 불균형을 보완하기 위해 업샘플링을 적용한다.
• 분류기 없는 가이던스를 사용해 antiBARTy의 잠재 공간 내에서 임의의 잠재 벡터를 노이즈 제거함으로써 새로운 시퀀스를 생성하고, 온도 0.1에서 Gumbel 샘플링을 통해 탐욕적 디코딩을 수행한다.
• UMAP를 사용해 잠재 공간 커버리지와 모드 커버리지 평가를 수행하며, 무조건적 및 용해도 조건부 샘플을 비교한다.

Figure 1 : Schematic of the architecture used for AntiBARTy Diffusion

실험 결과

연구 질문

• RQ1 고정된 항체 전용 언어 모델의 잠재 공간이 확산 기반의 신규 항체 생성에 효과적인 사전 지식로 기능할 수 있는가?
• RQ2 미리 훈련된 항체 모델의 잠재 공간에서 특성 조건부 확산이 개선된 시뮬레이션 상 용해도를 가진 항체 생성을 효과적으로 유도할 수 있는가?
• RQ3 이 방법은 가변 길이의 시퀀스와 자연스러운 인Del을 포함하면서도 항체의 유효성과 시퀀스 다양성을 유지하는가?
• RQ4 낮은 용해도 영역에 비해 높은 용해도 모드가 잠재 공간에서 얼마나 잘 커버져 있는가?
• RQ5 분류기 없는 가이던스가 별도의 분류기 모델 없이도 효과적인 특성 유도를 달성할 수 있는가?

주요 결과

• antiBARTy 모델은 훈련 세트의 길이 및 원천 유전자 분포를 잘 재현하며, 1,000개의 샘플 시퀀스 중 100%가 무거운 사슬 또는 가벼운 사슬로 정확히 분류되고, 99.9% 이상이 인간 원천 유전자로 할당된다.
• antiBARTy Diffusion은 5,000개의 고유하고 중복되지 않는 고용해도 시퀀스를 생성하였으며, 이들의 중앙 용해도 점수는 조건부가 아닌 분포보다 유의미하게 높게 나타나 효과적인 특성 유도를 입증한다.
• 고용해도 유도 샘플은 UMAP 시각화를 통해 고용해도 영역에 집중되어 있음을 확인하였으며, 낮은 용해도 모드를 피하는 데 성공했다.
• 낮은 용해도와 높은 용해도 클래스 모두에서 유사한 용해도 이동을 달성하였지만, 낮은 용해도 생성에는 더 높은 가이던스 강도가 필요하여 덜 유리한 모드로 이동시키는 데 더 큰 어려움이 있음을 시사한다.
• 모든 생성된 시퀀스는 고유하며 용해도 훈련 세트에 존재하지 않으며, 고용해도 샘플의 99.9%는 훈련 데이터에 존재하지 않아 고유성을 확보한다.
• antiBARTy 미리 훈련 과정에서의 인Del 대응 가능한 손상 전략 덕분에 가변 길이의 시퀀스와 자연스러운 인Del을 포함한 생성이 성공하였으며, 이는 자연스러운 친화력 개선 경로를 지원한다.

(a)