[논문 리뷰] Is Transfer Learning Necessary for Protein Landscape Prediction?

Amir Shanehsazzadeh, David Belanger외 1명|arXiv (Cornell University)|2020. 10. 31.

Machine Learning in Bioinformatics참고 문헌 17인용 수 33

한 줄 요약

본 논문은 전체 원-핫 단백질 인코딩에서 학습된 소형 감독 CNN 모델이 형광(Fluorescence)과 안정성(Stability) 지형 예측 과제에서 반지도학습, 사전학습 모델과 대등하거나 이를 능가할 수 있음을 보여주며, 이러한 단백질 지형 벤치마크에 대해 전달 학습(transfer learning)이 항상 필요하지 않음을 시사한다.

ABSTRACT

Recently, there has been great interest in learning how to best represent proteins, specifically with fixed-length embeddings. Deep learning has become a popular tool for protein representation learning as a model's hidden layers produce potentially useful vector embeddings. TAPE introduced a number of benchmark tasks and showed that semi-supervised learning, via pretraining language models on a large protein corpus, improved performance on downstream tasks. Two of the tasks (fluorescence prediction and stability prediction) involve learning fitness landscapes. In this paper, we show that CNN models trained solely using supervised learning both compete with and sometimes outperform the best models from TAPE that leverage expensive pretraining on large protein datasets. These CNN models are sufficiently simple and small that they can be trained using a Google Colab notebook. We also find for the fluorescence task that linear regression outperforms our models and the TAPE models. The benchmarking tasks proposed by TAPE are excellent measures of a model's ability to predict protein function and should be used going forward. However, we believe it is important to add baselines from simple models to put the performance of the semi-supervised models that have been reported so far into perspective.

연구 동기 및 목표

• 전이 학습 기반 접근 방식과 비교해 순수하게 감독된 모델이 단백질 지형 예측 과제에서 경쟁할 수 있는지 평가한다.
• 형광 및 안정성 벤치마크 전반에서 소형 CNN 기반 인코더를 TAPE 스타일의 사전 학습 모델과 비교한다.
• 이들 과제에서 선형 모델의 성능을 평가하고 언제 사전 학습 모델이 실제로 이점을 제공하는지 확인한다.

제안 방법

• 다양한 깊이의 1-D CNN 인코더를 단백질 시퀀스 인코더로 사용한다.
• 풀링(MeanPool, MaxPool, LinearMaxPool)을 통해 고정 길이 임베딩을 만들거나 학습 가능한 밀집 매핑을 사용한다.
• GFP 형광, 안정성, 및 베타-락타마제 변이 데이터 세트에서 Adam, MSE 손실 및 표준 패딩 기법으로 모델을 학습한다.
• 가능한 경우 TAPE 베이스라인(사전 학습 여부에 관계없이) 및 CPCProt/ESM과 비교한다.
• 안정성 및 베타-락타마제 과제에서 교차검증 간 분산을 평가하기 위해 CNN 앙상블을 사용한다.

실험 결과

연구 질문

• RQ1 전체 원-핫 인코딩으로 학습된 소형 감독 CNN이 형광 및 안정성 지형 과제에서 반지도 학습 사전학습 모델과 비슷한 성능을 달성할 수 있는가?
• RQ2 단순한 베이스라인(예: 원-핫 인코딩에 대한 선형 회귀)이 CNN 기반 및 사전 학습 방법에 비해 어떻게 수행되는가?
• RQ3 베타-락타마제 변이 예측에서 데이터 양이 사전 학습 변환기와 감독 CNN 간 상대 성능에 어떤 영향을 미치는가?
• RQ4 CNN 앙상블이 지형 전반의 과제에서 개별 모델보다 견고한 우위를 제공하는가?
• RQ5 향후 단백질 기능 예측 모델링에 있어 TAPE 벤치마킹 과제가 가치 있는 베이스라인인가?

주요 결과

• 감독 학습 데이터로만 학습된 소형 CNN이 형광 및 안정성 지형에서 TAPE 모델과 경쟁하거나 이를 능가할 수 있다.
• 전체 원-핫 인코딩에 대한 선형 회귀가 형광 예측에서 많은 복잡한 모델을 능가할 수 있다.
• CNN 앙상블은 안정성 예측 성능을 향상시키고 여러 지표에서 TAPE 및 CPCProt 베이스라인을 능가할 수 있다.
• 베타-락타마제 변이 예측에서 충분한 데이터가 있으면 감독 CNN이 사전 학습된 ESM 트랜스포머와 맞먹지만, 데이터가 부족할 때는 사전 학습 모델이 이점을 가진다.
• 사전 학습의 이점은 감독 데이터가 부족할 때 가장 뚜렷하며, 충분한 데이터가 주어지면 감독 CNN이 경쟁력 있거나 우수할 수 있다.