[논문 리뷰] Improving Antibody Humanness Prediction using Patent Data
이 논문은 Patented Antibody Database (PAD)의 특허 데이터를 활용하여 항체의 인간성 예측 성능을 향상시키는 자기지도 학습 프레임워크인 SelfPAD를 제안한다. 이는 치료용 항체 개발 시 면역원성 감소에 핵심적인 요소이다. 약물 개발의 실패 원인 중 하나인 면역원성을 줄이기 위해, 특허 관련 기능적 타겟에 기반한 약한 감독을 받는 대비 학습을 수행한 후, 인간성 점수 예측을 위한 교차 엔트로피 손실을 사용한 미세조정을 포함하는 이중 단계 학습 과정을 통해, 6개의 면역원성 예측 벤치마크 중 5개에서 최신 기술(SOTA) 성능을 달성하였으며, 일반화 능력과 해석 가능성 측면에서 뛰어난 성능을 입증하였다.
We investigate the potential of patent data for improving the antibody humanness prediction using a multi-stage, multi-loss training process. Humanness serves as a proxy for the immunogenic response to antibody therapeutics, one of the major causes of attrition in drug discovery and a challenging obstacle for their use in clinical settings. We pose the initial learning stage as a weakly-supervised contrastive-learning problem, where each antibody sequence is associated with possibly multiple identifiers of function and the objective is to learn an encoder that groups them according to their patented properties. We then freeze a part of the contrastive encoder and continue training it on the patent data using the cross-entropy loss to predict the humanness score of a given antibody sequence. We illustrate the utility of the patent data and our approach by performing inference on three different immunogenicity datasets, unseen during training. Our empirical results demonstrate that the learned model consistently outperforms the alternative baselines and establishes new state-of-the-art on five out of six inference tasks, irrespective of the used metric.
연구 동기 및 목표
- 항체의 인간성 예측 문제를 해결함으로써, 면역원성과 약물 개발 실패의 핵심 요인인 인간성의 중요성을 다루는 것.
- 기존에 잘 활용되지 않았던 특허 데이터를 활용하여, 16,000건 이상의 특허 출원에서 유도된 기능적 연관성을 기반으로 항체 표현 학습에 활용 가능한 잠재력을 탐색하는 것.
- 기존의 Observed Antibody Space (OAS) 기반 방법을 뛰어넘어 표현 학습과 예측 성능 향상을 위한 다단계 학습 프레임워크를 개발하는 것.
- 주의 분석을 통해 인간화에 기여하는 핵심 잔기를 식별함으로써, 인간성 예측의 해석 가능성을 높이는 것.
- 학습된 모델이 면역원성 예측 및 인간화 지침과 같은 후행 작업으로의 이식 가능성을 입증하는 것.
제안 방법
- 이 방법은 이중 단계 학습 과정을 활용한다: 먼저 특허 출원을 통해 여러 잠재적 타겟과 연결된 항체 서열을 기반으로 대비 자기지도 학습 전처리 단계를 수행한다.
- 전처리 단계에서는 동일한 타겟과 연결된 서열을 양성 쌍으로 간주하고, 대비 손실을 사용하여 잠재 공간에서 그룹화하도록 모델을 학습시킨다.
- 에코더는 고정된 후, 동일한 특허 데이터를 사용하여 교차 엔트로피 손실을 통해 인간성 점수 예측을 위한 미세조정을 수행함으로써, 후행 작업을 위한 종단 간 최적화를 가능하게 한다.
- 고정된 에코더 위에 다층 퍼셉트론(MLP) 헤드를 추가하고, 서열 에코더와 함께 공동으로 훈련시켜 회귀 성능을 향상시킨다.
- 미세조정 중에 스왑 및 시프트 노이즈와 같은 데이터 증강 기법을 적용하여 모델의 강건성을 향상시킨다.
- 부모 항체와 인간화된 항체 서열 간의 주의 차이를 계산하여, 인간화에 기여하는 핵심 잔기를 강조함으로써 해석 가능성을 향상시킨다.
실험 결과
연구 질문
- RQ1기존의 OAS와 같은 전통적 자료 외에 특허 데이터를 효과적으로 활용하여 항체 표현 학습 및 인간성 예측 성능 향상을 이룰 수 있는가?
- RQ2대비 학습과 감독 미세조정을 조합한 다단계, 다손실 학습 전략이 단일 단계 또는 기준 모델 대비 인간성 예측 성능 향상에 기여하는가?
- RQ3기존에 알려진 인간화된 서열을 바탕으로 주의 맵을 분석함으로써, 생물학적으로 관련성이 있는 인간화 잔기를 모델이 식별할 수 있는가?
- RQ4노이즈 증강 및 레이어 재초기화의 포함 여부가 모델의 일반화 능력과 면역원성 벤치마크에서의 성능에 어떤 영향을 미치는가?
- RQ5모델이 새로운 데이터셋으로 일반화되는 정도는 어느 정도이며, 다양한 평가 지표에서 기존 최신 기술 모델을 초월할 수 있는가?
주요 결과
- FT-SelfPAD 모델은 25개의 인간화 데이터 벤치마크에서 F1, 재현율, 정밀도, 정확도, ROC AUC, PR AUC 모두 100%를 기록하여 모든 기준 모델을 압도하였다.
- 217개의 면역원성 데이터셋에서의 분석 결과, ROC AUC는 82.86%, PR AUC는 93.79%를 기록하여 최적의 초모수 설정에서 뛰어난 성능을 보였다.
- PCA 시각화 결과에서 부모 항체 서열(비인간)이 인간화 및 인간 기원 서열과 별도로 정확히 군집화되어, 면역원성 위험 탐지 능력을 확인하였다.
- 주의 분석 결과, 모델은 인간화 항체의 변형 부위를 높은 정확도로 식별하였으며, 원래 인간화 과정보다 훨씬 적은 수의 변형을 제안하는 경향을 보였다.
- 분석 결과, 스왑 및 시프트 노이즈를 결합하고 사전 학습된 네 개의 레이어를 재초기화함으로써 성능 향상이 뚜렷하게 나타났으며, ROC AUC가 80.74%에서 82.86%로 상승하였다.
- 세 개의 독립된 면역원성 데이터셋에서 다수의 평가 지표(ROC AUC, F1, PR AUC 포함)에서 다섯 가지의 인퍼런스 작업에서 새로운 최신 기술 성능을 확립하였다.
더 나은 연구,지금 바로 시작하세요
논문 읽기부터 검토까지, 연구 시간을 획기적으로 줄여보세요.
카드 등록 없음 · 무료 플랜 제공
이 리뷰는 AI가 만들고, 인간 에디터가 검토했습니다.