[논문 리뷰] ProGen: Language Modeling for Protein Generation

Ali Madani, Bryan McCann외 6명|arXiv (Cornell University)|2020. 03. 08.

Genomics and Phylogenetic Studies참고 문헌 35인용 수 34

한 줄 요약

ProGen은 ~281M 단백질 서열에 조건 태그를 사용해 학습된 1.2B 매개변수의 조건부 언어 모델로, 구조- 및 기능 관련 지표와 일치하는 제어 가능한 단백질 생성을 가능하게 하며 제로샷 사례와 보지 못한 계통군에 대한 미세조정을 포함한다.

ABSTRACT

Generative modeling for protein engineering is key to solving fundamental problems in synthetic biology, medicine, and material science. We pose protein engineering as an unsupervised sequence generation problem in order to leverage the exponentially growing set of proteins that lack costly, structural annotations. We train a 1.2B-parameter language model, ProGen, on ~280M protein sequences conditioned on taxonomic and keyword tags such as molecular function and cellular component. This provides ProGen with an unprecedented range of evolutionary sequence diversity and allows it to generate with fine-grained control as demonstrated by metrics based on primary sequence similarity, secondary structure accuracy, and conformational energy.

연구 동기 및 목표

• 대규모 단백질 서열 데이터를 활용해 비지도 학습 기반의 생성적 단백질 설계를 가능하게 한다.
• 분류학 태그와 기능 태그에 의해 제어될 수 있는 조건부 Transformer 모델을 개발한다.
• 서열, 2차 구조, 및 형태 에너지 지표에 걸쳐 생성된 단백질을 평가한다.
• 보지 못한 단백질 계통에 대한 시연과 제로샷 기능 선택을 보여준다.
• 지시된 진화(directed evolution)와 de novo 설계에서의 실용적 응용을 탐색한다.

제안 방법

• 서로 conditioning 태그와 아미노산 토큰을 결합한 x를 모델링하기 위해 36층, 1028차원 임베딩, 층당 8개의 어텐션 헤드를 갖는 Transformer 기반의 조건부 언어 모델을 학습한다.
• 서열에 1100개의 키워드 태그와 100k 개의 분류 용어를 추가하여 제어 가능한 단백질 설계를 가능하게 하는 풍부한 태그 세트에 대한 생성 조건을 제공한다.
• Uniparc/UniProt/SWI...의 ~281M 단백질 서열 데이터셋을 사용하되 서열 길이는 최대 512 토큰으로 제한하고 역서열, 그리고 조건 태그에 대한 드롭아웃을 적용한다.
• 생성과정에서 상위-k 샘플링과 반복 패널티를 이용해 다양성을 촉진하되 구조를 보존한다.
• 퍼플렉시티, Hard 및 Soft(BLOSUM62) 토큰 정확도, 그리고 상위 수준 지표인 기본 서열 유사성, 2차 구조 정확도(PSIPRED with MSAs), 및 구성 에너지(Rosetta-RelaxBB)로 평가한다.
• 균일 및 경험적 베이스라인과 비교하고, 보지 못한 가족에 대해 미세조정하여 도메인 외 일반화 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 대규모 주석 서열 데이터에서 진화적으로 살아있는 단백질 서열의 분포를 학습한 대규모 조건부 언어 모델이 가능할까?
• RQ2 조건 태그가 서열 및 고차 구조 특성에 걸쳐 제어 가능한 단백질 생성을 개선하는가?
• RQ3 ProGen은 보지 못한 단백질 계통(OOD)으로 얼마나 일반화되며, 미세조정이 이 일반화를 개선할 수 있는가?
• RQ4 Pro Gen이 생성한 서열이 스레딩/Relaxation 후 native 유사한 2차 구조와 바람직한 구성 에너지를 보이는가?
• RQ5 프로젠이 제로샷으로 고적합 variant(예: GB1)을 감독 학습 없이 식별할 수 있는가?

주요 결과

• ProGen은 보류된 단백질 계통에서도 평준화된 기준선과 경험적 기준선에 비해 퍼플렉시티와 하드 정확도에서 크게 우수한 성능을 보인다.
• 더 긴 아미노산 맥락과 더 많은 conditioning 태그로 인해 퍼플렉시티가 감소하고 토큰별 정확도가 증가한다.
• 생성된 서열은 2차 구조 정확도가 향상되며 구성 에너지는 네이티브 단백질에 가까워지거나 때로는 Relaxation 후 베이스라인보다 우수하다.
• 보지 못한 단백질 계통에 대해 ProGen을 미세조정하면 무작위 초기화로 학습하는 것에 비해 도메인 외 설정에서 상당한 성능 향상을 보인다.
• VEGFR2 완성 샘플은 주요 구조 요소를 보존하고 생성 길이에 걸쳐 네이티브에 근접한 에너지 수준을 유지한다.
• 제로샷 GB1 피트니스 선택에서 ProGen은 감독 학습 없이도 고피트니스 변이를 식별하고 무작위 돌연변이 베이스라인을 능가한다.