[논문 리뷰] ProtTrans: Towards Cracking the Language of Life's Code Through Self-Supervised Deep Learning and High Performance Computing

Ahmed Elnaggar, Michael Heinzinger외 10명|arXiv (Cornell University)|2020. 07. 13.

Machine Learning in Bioinformatics인용 수 210

한 줄 요약

이 논문은 HPC를 사용하여 거대한 시퀀스 데이터에서 여러 자가지도(Self-supervised) 단백질 언어 모델을 학습하고, 진화 정보 없이 최첨단 예측을 달성하는 임베딩을 생성하고 모델을 공개한다.

ABSTRACT

Computational biology and bioinformatics provide vast data gold-mines from protein sequences, ideal for Language Models taken from NLP. These LMs reach for new prediction frontiers at low inference costs. Here, we trained two auto-regressive models (Transformer-XL, XLNet) and four auto-encoder models (BERT, Albert, Electra, T5) on data from UniRef and BFD containing up to 393 billion amino acids. The LMs were trained on the Summit supercomputer using 5616 GPUs and TPU Pod up-to 1024 cores. Dimensionality reduction revealed that the raw protein LM-embeddings from unlabeled data captured some biophysical features of protein sequences. We validated the advantage of using the embeddings as exclusive input for several subsequent tasks. The first was a per-residue prediction of protein secondary structure (3-state accuracy Q3=81%-87%); the second were per-protein predictions of protein sub-cellular localization (ten-state accuracy: Q10=81%) and membrane vs. water-soluble (2-state accuracy Q2=91%). For the per-residue predictions the transfer of the most informative embeddings (ProtT5) for the first time outperformed the state-of-the-art without using evolutionary information thereby bypassing expensive database searches. Taken together, the results implied that protein LMs learned some of the grammar of the language of life. To facilitate future work, we released our models at https://github.com/agemagician/ProtTrans.

연구 동기 및 목표

• 레이블이 없는 단백질 서열에서 생물물리학적 문법을 학습하기 위해 언어 모델을 사용하는 동기를 제시한다.
• 대규모로 UniRef와 BFD 데이터를 이용해 자동회귀(auto-regressive) 및 자동인코더(auto-encoder) 모델을 학습한다.
• 진화 데이터베이스 없이도 단백질 LM 임베딩이 잔류당-부분 예측(per-residue) 및 단백질 예측(per-protein)을 개선함을 보인다.

제안 방법

• 두 개의 자동회귀 모델(Transformer-XL, XLNet)과 네 개의 자동인코더 모델(BERT, Albert, Electra, T5)을 최대 393 billion amino acids에서 학습한다.
• Summit 슈퍼컴퓨팅으로 5616개의 GPU와 TPU Pod를 최대 1024 코어로 사용하여 학습한다.
• 레이블이 없는 데이터로부터 임베딩을 도출하고 차원 축소를 통해 그들의 생물물리학적 정보를 평가한다.
• 비용이 많이 드는 데이터베이스 검색 없이 다운스트림 작업에 대한 단독 입력으로 임베딩을 평가한다.

실험 결과

연구 질문

• RQ1 레이블이 없는 데이터에서 학습된 단백질 서열에 대해 큰 자가지도 언어 모델이 생물물리학적 구조를 학습할 수 있는가?
• RQ2 단백질 LM 임베딩이 진화 정보를 사용하지 않고 잔류당별 및 단백질 수준 예측 작업을 향상시키는가?
• RQ3 다른 아키텍처(자동회귀 vs 자동인코더)가 유용한 단백질 표현 학습에서 어떻게 비교되는가?
• RQ4 생긴 임베딩이 보조 구조, 세포 내 위치 및 막-가 용질 구분과 같은 작업에 전이 가능한가?

주요 결과

• 단백질 LM 임베딩은 차원 축소에 의해 보이는 것처럼 단백질 서열의 생물물리학적 특징을 포착한다.
• 임베딩은 잔류당별 2차 구조 예측을 Q3 81%에서 87% 사이로 가능하게 한다.
• 임베딩은 단백질당 위치 예측을 Q10 81%로 가능하게 하고 막-수용성 구분 정확도 Q2 91%를 달성한다.
• 잔류당별 작업에서 최고의 임베딩(ProtT5)은 진화 정보 없이도 최신 방법들보다 우수하게 성능을 발휘한다.
• 결과는 모델이 레이블 없는 데이터로부터 생명의 언어의 측면을 학습하고 데이터베이스 검색 의존도를 줄임을 시사한다.