[논문 리뷰] Modeling Protein Using Large-scale Pretrain Language Model

Yijia Xiao, Jiezhong Qiu외 3명|arXiv (Cornell University)|2021. 08. 17.

Machine Learning in Bioinformatics참고 문헌 22인용 수 22

한 줄 요약

이 논문은 단백질 서열을 위한 대규모 사전 훈련된 언어 모델인 ProteinLM를 소개한다. 이 모델은 진화 척도의 데이터를 활용하여 생물학적 및 구조적 정보를 포착한다. 2차 구조 예측, 원거리 동일성 탐지, 안정성 예측 등의 하류 작업에 대해 미세조정을 수행함으로써, 최대 30억 파rameter를 가진 ProteinLM는 기존 모델들인 TAPE와 ProtTrans보다 우수한 성능을 기록하며, 장거리 의존성 모델링 능력에서 뛰어난 성능을 보였다.

ABSTRACT

Protein is linked to almost every life process. Therefore, analyzing the biological structure and property of protein sequences is critical to the exploration of life, as well as disease detection and drug discovery. Traditional protein analysis methods tend to be labor-intensive and time-consuming. The emergence of deep learning models makes modeling data patterns in large quantities of data possible. Interdisciplinary researchers have begun to leverage deep learning methods to model large biological datasets, e.g. using long short-term memory and convolutional neural network for protein sequence classification. After millions of years of evolution, evolutionary information is encoded in protein sequences. Inspired by the similarity between natural language and protein sequences, we use large-scale language models to model evolutionary-scale protein sequences, encoding protein biology information in representation. Significant improvements are observed in both token-level and sequence-level tasks, demonstrating that our large-scale model can accurately capture evolution information from pretraining on evolutionary-scale individual sequences. Our code and model are available at https://github.com/THUDM/ProteinLM.

연구 동기 및 목표

• 자연어 모델링에 영감을 얻어 확장 가능하고 대규모의 단백질 서열을 위한 사전 훈련 프레임워크를 개발하기 위해.
• 기존 단백질 분석 방법의 한계를 해결하기 위해, 이는 수작업이 많고 계산적으로 비용이 많이 드는 방식이다.
• 거대한 레이블이 없는 데이터로부터 진화적 및 구조적 패턴을 포착하여 단백질 서열의 표현 학습을 향상시키기 위해.
• 모델 규모와 아키텍처가 단백질 모델링 작업 성능에 미치는 영향을 조사하기 위해.
• 제한된 계산 자원에서 대규모 단백질 언어 모델을 훈련하기 위한 하이퍼파ram터 선택에 대한 경험적 지침을 수립하기 위해.

제안 방법

• PFAM 데이터베이스에 포함된 30억 개 이상의 단백질 서열을 기반으로 트랜스포머 기반 언어 모델을 사전 훈련한다.
• 원시 아미노산 서열에서 문맥적 표현을 학습하기 위해 마스킹된 언어 모델링(MLM)을 사전 훈련 목적으로 사용한다.
• 자기주의 주의 메커니즘을 활용하여 자연어 처리(NLP) 트랜스포머와 유사하게 단백질 서열 전반에 걸친 장거리 의존성을 모델링한다.
• 성능과 계산 비용의 상호 교환 관계를 연구하기 위해 깊이(8–32층)와 너비(512–3072 히든 차원)가 다른 모델을 훈련한다.
• TAPE 벤치마크의 다섯 가지 표준 생물학적 작업(2차 구조 예측, 접촉 예측, 원거리 동일성 탐지, 형광성, 안정성 예측)에 대해 사전 훈련된 모델을 미세조정한다.
• 모델 깊이, 너비, 훈련 기간이 성능와 수렴에 미치는 영향을 분석하기 위해 통제된 아블레이션 연구를 수행한다.

실험 결과

연구 질문

• RQ1 대규모 레이블이 없는 단백질 서열에서 대규모 사전 훈련된 언어 모델이 진화적 및 구조적 정보를 효과적으로 포착할 수 있는가?
• RQ2 모델 규모(깊이 및 너비)가 단백질 표현 학습 작업 성능에 미치는 영향은 어떠한가?
• RQ3 ProteinLM은 기존 모델들인 TAPE와 ProtTrans에 비해 하류 단백질 서열 모델링 작업에서 얼마나 뛰어난 성능을 보일 수 있는가?
• RQ4 제한된 계산 자원에서 대규모 단백질 언어 모델을 훈련하기 위한 최적의 하이퍼파ram터는 무엇인가?
• RQ5 모델은 단백질 구조에서 장거리 접촉을 정확하게 예측할 수 있는가? 이는 장거리 의존성 모델링의 효과성을 시사한다.

주요 결과

• 30억 파rameter를 가진 ProteinLM는 2차 구조 예측 정확도 79% (Q-3)를 기록하여 TAPE의 73%를 초월했으며, 더 작은 모델들보다 뛰어난 성능을 보였다.
• 가장 큰 구성에서 원거리 동일성 탐지 F1 스코어는 0.298 (P@L/5)를 기록하여 TAPE의 0.26보다 뚜렷이 뛰어났다.
• 안정성 예측 작업에서 ProteinLM (3B)는 스피어만의 ρ 값 0.79를 기록했으며, TAPE의 0.73보다 개선된 회귀 성능을 보였다.
• 접촉 지도 시각화 결과, ProteinLM-3B는 장거리 상호작용을 효과적으로 포착했으며, 반대각선을 따라 강한 신호를 보였다. 반면 TAPE는 많은 장거리 접촉을 놓쳤다.
• 히든 크기가 2048이고 24층인 모델(ProteinLM-3B)은 성능과 훈련 효율성 사이의 최적의 균형을 달성했으며, TAPE 대비 P@L/5에서 5.5% 향상된 성능을 기록했다.
• 경험적 분석 결과, 모델 깊이(트랜스포머 층 수)가 너비(히든 크기)보다 성능에 더 큰 영향을 미치며, 최적의 구성은 8–24층 및 512–3072 히든 유닛 사이에서 나타났다.