[논문 리뷰] A Text-guided Protein Design Framework

Shengchao Liu, Li, Yanjing외 11명|arXiv (Cornell University)|2023. 02. 09.

Machine Learning in Bioinformatics인용 수 23

한 줄 요약

ProteinDT는 텍스트와 단백질 서열을 정렬하여 텍스트 가이드 단백질 생성, 제로샷 편집, 및 특성 예측을 가능하게 하는 다중 모달 프레임워크로, 학습에 SwissProtCLAP를 사용합니다. 텍스트→단백질 생성에서 회수 정확도가 90%를 넘고 여러 제로샷 편집 작업에서 최상위 적중률을 달성합니다.

ABSTRACT

Current AI-assisted protein design mainly utilizes protein sequential and structural information. Meanwhile, there exists tremendous knowledge curated by humans in the text format describing proteins' high-level functionalities. Yet, whether the incorporation of such text data can help protein design tasks has not been explored. To bridge this gap, we propose ProteinDT, a multi-modal framework that leverages textual descriptions for protein design. ProteinDT consists of three subsequent steps: ProteinCLAP which aligns the representation of two modalities, a facilitator that generates the protein representation from the text modality, and a decoder that creates the protein sequences from the representation. To train ProteinDT, we construct a large dataset, SwissProtCLAP, with 441K text and protein pairs. We quantitatively verify the effectiveness of ProteinDT on three challenging tasks: (1) over 90% accuracy for text-guided protein generation; (2) best hit ratio on 12 zero-shot text-guided protein editing tasks; (3) superior performance on four out of six protein property prediction benchmarks.

연구 동기 및 목표

• 텍스트 설명과 단백질 서열 간의 다리를 놓아 시퀀스/구조 그 자체를 넘어서는 설계 작업을 가능하게 한다.
• 제로샷 텍스트-가이드 생성 및 편집을 지원하기 위해 텍스트-단백질의 공동 표현을 학습한다.
• 텍스트에서 얻은 표현에 조건화된 강력한 디코더 기반 생성 경로를 개발한다.
• 텍스트-단백질 생성, 제로샷 편집, 및 단백질 특성 예측에 대해 프레임워크를 평가한다.
• 기준선 대비 이점과 데이터셋 및 평가의 한계를 정량화하고 분석한다.

제안 방법

• 교차 모달 표현을 학습하기 위해 441K 텍스트–단백질 쌍으로 SwissProtCLAP를 구성한다.
• 대조 학습(EBM-NCE/InfoNCE)을 통해 텍스트 및 단백질 서열 표현을 정렬하도록 ProteinCLAP를 학습한다.
• 디코딩 전에 텍스트 프롬프트를 단백질 표현에 매핑하기 위해 ProteinFacilitator를 도입한다.
• 세 가지 디코더(하나는 autoregressive Transformer이고 두 개의 diffusion 모델)로 단백질 서열을 조건부로 생성한다.
• 강건성을 위해 텍스트-단백질 생성과 제로샷 텍스트-가이드 편집의 두 가지 다운스트림 작업과 단백질 특성 예측을 사용한다.

실험 결과

연구 질문

• RQ1 텍스트 설명이 설계 작업을 안내하기 위해 단백질 서열과 효과적으로 정렬될 수 있는가?
• RQ2 텍스트-조건화된 인코더-디코더 파이프라인이 생성, 편집 및 특성 예측에서 기준선과 비교해 어떤 성능을 보이는가?
• RQ3 ProteinFacilitator 구성요소가 텍스트-단백질 생성 정확도에 미치는 영향은 무엇인가?
• RQ4 이 설정에서 diffusion 기반 디코더는 autoregressive 모델과 비교해 얼마나 잘 작동하는가?
• RQ5 텍스트 가이드 단백질 설계의 한계와 평가 도전과제는 무엇인가?

주요 결과

• ProteinDT는 텍스트-단백질 생성에서 높은 회수 정확도를 달성한다(보고된 설정에서 90% 이상).
• ProteinDT는 10개의 제로샷 텍스트-가이드 단백질 편집 작업에서 최상위 hit 비율을 달성한다.
• ProteinFacilitator를 갖춘 AR-Transformer는 일반적으로 생성 작업에서 diffusion 변형들보다 우수하다.
• ProteinCLAP 기반 표현은 여섯 가지 단백질 특성 예측 벤치마크 중 네 가지에서 우수한 성능을 보인다.
• 정성적 결과는 구조, 안정성 및 펩타이드 결합에 영향을 주는 타당한 텍스트 기반 편집을 보여준다.