[논문 리뷰] A Pareto-optimal compositional energy-based model for sampling and optimization of protein sequences

Nataša Tagasovska, Nathan C. Frey외 10명|arXiv (Cornell University)|2022. 10. 19.

vaccines and immunoinformatics approaches인용 수 4

한 줄 요약

이 논문은 다수의 상충되는 목표를 동시에 충족하는 단백질 서열을 샘플링할 수 있도록 다중목표 최적화와 조합적 에너지 기반 모델링을 융합한 파레토-합성 에너지 기반 모델(pcEBM)을 제안한다. 이 방법은 기준선 대비 더 빠른 수렴 속도와 더 나은 파레토 전면 커버리지 성능을 달성하며, 결합 친화도, 다중반응성, 점탄도 등 최적화된 다양한 고품질 항체 서열을 생성한다.

ABSTRACT

Deep generative models have emerged as a popular machine learning-based approach for inverse design problems in the life sciences. However, these problems often require sampling new designs that satisfy multiple properties of interest in addition to learning the data distribution. This multi-objective optimization becomes more challenging when properties are independent or orthogonal to each other. In this work, we propose a Pareto-compositional energy-based model (pcEBM), a framework that uses multiple gradient descent for sampling new designs that adhere to various constraints in optimizing distinct properties. We demonstrate its ability to learn non-convex Pareto fronts and generate sequences that simultaneously satisfy multiple desired properties across a series of real-world antibody design tasks.

연구 동기 및 목표

• 결합 친화도, 다중반응성, 점탄도와 같은 상충되는 생물학적 성질을 동시에 충족하는 단백질 서열을 생성하는 데 도전하는 것.
• 단일 목표를 최적화하는 것이 아니라, 이러한 성질 간 최적의 트레이드오프를 이루는 파레토 전면에서 샘플링할 수 있는 생성 모델을 개발하는 것.
• 특히 목적이 수직이거나 비볼록인 경우에도 다중목표 단백질 서열 최적화에서 샘플링 효율성과 다양성을 향상시키는 것.
• 기능성과 개발 가능성 모두를 갖춘 새로운 항체 서열을 제어 가능하고 유도 가능한 방식으로 생성하여, 후속 개발 단계에서의 실패 위험을 줄이는 것.
• 다양한 다목적 분자의 설계 문제에 적용 가능한 일반화 가능하고 모듈러한 프레임워크를 제공하는 것.

제안 방법

• pcEBM 프레임워크는 각 목표에 대해 개별 에너지 기반 모델(EBM)에서 유도된 다중 경사 하강 단계를 하나의 조합적 샘플링 과정에 통합한다.
• 각각의 특정 생물학적 성질을 모델링하도록 훈련된 성질별 EBM의 합으로 정의된 조합적 에너지 함수를 사용한다.
• 샘플링 과정은 모든 목표에서 에너지를 동시에 최소화하는 다중경사 업데이트 규칙을 적용하여 파레토 최적 해에 수렴하도록 한다.
• 지역 내림차순(LD) 전략을 도입하여 파레토 전면의 커버리지 향상과 비최적 영역으로의 조기 수렴 방지를 도모한다.
• 샘플링 중 수렴 속도와 안정성 간 균형을 맞추기 위해 단계 크기 스케줄을 사용하였으며, 제거 실험을 통해 성능에 미치는 영향을 확인하였다.
• 합성 및 실제 항체 설계 작업을 모두 활용하여 평가하였으며, 초기 성질이 열 劣한 '시드' 서열로부터의 서열 개선 작업도 포함되었다.

실험 결과

연구 질문

• RQ1 조합적 에너지 기반 모델이 상충되는 목표인 결합 친화도와 개발 가능성 간에 파레토 최적 서열을 효과적으로 샘플링할 수 있는가?
• RQ2 제안된 pcEBM는 기준선 기반의 표준 다중목표 방법 대비 수렴 속도, 파레토 전면 커버리지, 서열 품질 측면에서 어떻게 비교되는가?
• RQ3 pcEBM를 개선 도구로 사용할 경우, 특히 비특이성(BV 점수)을 줄이는 데 있어 기존 항체 서열의 성질을 얼마나 향상시킬 수 있는가?
• RQ4 샘플링 과정에 지역 내림차순(LD)을 통합할 경우, 표준 경사 하강법 또는 직접적인 LD 대비 파레토 전면 탐색 능력에서 더 나은 성능을 보이는가?
• RQ5 이 모델은 다양한 종류의 단백질 설계 작업에 일반화되어 다양한 하이퍼파rameter 설정에서도 성능을 유지할 수 있는가?

주요 결과

• 에너지 점수 감소 추세를 통해 pcEBM는 cEBM보다 더 빠른 수렴 속도를 보였으며, 0.01 단계 크기에서 안정적이고 급속한 향상이 이루어졌다.
• MGD 및 cEBM 기준선 대비 더 넓고 다양한 파레토 전면을 생성하였으며, 히퍼볼륨이 크게 향상되고 훈련 데이터와 유사도가 높아졌다.
• 다양한 단계 크기에서 히퍼볼륨이 높고 에디트 거리 및 목표 점수의 분산이 낮아, 강건성과 안정성을 보여주었다.
• 기존 항체 서열 향상 작업에서 pcEBM와 MGD는 평균 BV 점수를 0.27에서 0.9 이상으로 낮추었으며, cEBM를 초월하는 성능을 보이며 비특이성을 효과적으로 감소시켰다.
• t-SNE 시각화 결과, pcEBM가 낮은 BV(빨간색 영역)에서 높은 BV(파란색 영역)로 서열을 효과적으로 이동시켜 비특이성 최적화가 성공적으로 이루어졌음을 확인하였다.
• pcEBM에서 지역 내림차순(LD)을 적용할 경우 직접적인 LD보다 더 나은 파레토 전면 커버리지가 이루어졌으며, 다중경사 조합의 탐색 능력 향상 효과를 확인하였다.