[논문 리뷰] PEER: A Comprehensive and Multi-Task Benchmark for Protein Sequence Understanding

Minghao Xu, Zuobai Zhang외 6명|arXiv (Cornell University)|2022. 06. 05.

Machine Learning in Bioinformatics인용 수 59

한 줄 요약

PEER는 기능, 위치화, 구조, PPI, PLI에 걸친 14개의 단백질 이해 태스크를 포괄하는 종합 벤치마크를 제안하고, 사전 학습 단백질 언어 모델을 포함한 다양한 베이스라인과 함께 단일 작업 학습 및 다중 작업 학습을 평가한다.

ABSTRACT

We are now witnessing significant progress of deep learning methods in a variety of tasks (or datasets) of proteins. However, there is a lack of a standard benchmark to evaluate the performance of different methods, which hinders the progress of deep learning in this field. In this paper, we propose such a benchmark called PEER, a comprehensive and multi-task benchmark for Protein sEquence undERstanding. PEER provides a set of diverse protein understanding tasks including protein function prediction, protein localization prediction, protein structure prediction, protein-protein interaction prediction, and protein-ligand interaction prediction. We evaluate different types of sequence-based methods for each task including traditional feature engineering approaches, different sequence encoding methods as well as large-scale pre-trained protein language models. In addition, we also investigate the performance of these methods under the multi-task learning setting. Experimental results show that large-scale pre-trained protein language models achieve the best performance for most individual tasks, and jointly training multiple tasks further boosts the performance. The datasets and source codes of this benchmark are all available at https://github.com/DeepGraphLearning/PEER_Benchmark

연구 동기 및 목표

• 단백질 서열 이해를 위한 표준화되고 포괄적인 벤치마크의 필요성을 동기화하여 딥러닝 방법의 발전을 가속화한다.
• 다양한 단백질 이해 태스크와 일반화 성능 평가를 위한 현실적인 분할을 포함하는 다중 작업 벤치마크(PEER)를 제공한다.
• 특성 엔지니어링에서 사전 학습된 단백질 언어모델에 이르기까지의 다양한 베이스라인을 단일 작업 및 다중 작업 설정에서 평가한다.

제안 방법

• 기능, 위치화, 구조, PPI, PLI의 다섯 그룹에 걸쳐 14개의 태스크를 정의한다.
• 단백질을 시퀀스로 표현하고, PLI 태스크를 위해 리간드를 분자 그래프로 표현한다.
• 특성 엔지니어(DDE, Moran), 시퀀스 인코더(LSTM, Transformer, CNN, ResNet), 사전 학습 모델(ProtBert, ESM-1b)을 포함한 베이스라인 모델을 평가한다.
• 세 가지 모델 파이프라인을 탐색한다: MLP 예측기를 갖춘 태스크-특정 인코더, PPI용 시암-인코더, 리간드를 위한 GIN을 갖춘 단백질–리간드 인코더.
• 하드 파라미터 공유와 중심/보조 태스크 설정을 통한 단일 작업 학습 대 다중 작업 학습을 조사한다.
• 일반화 및 분포 외 강건성을 평가하도록 설계된 학습, 검증, 테스트 분할을 제공한다.

실험 결과

연구 질문

• RQ1 각 PEER 태스크에서 다양한 시퀀스 기반 인코더와 사전 학습된 단백질 언어 모델의 성능은 어느 정도인가?
• RQ2 다양한 단백질 태스크에서 다중 작업 학습 구성이 단일 작업 베이스라인보다 성능을 향상시키는가?
• RQ3 공유 표현과 지식 전달이 다중 작업 설정에서 가장 큰 혜택을 받는 태스크 군은 어느 것인가?
• RQ4 다른 데이터 분할(예: 고차 변이체 처리, 원격 호모로그)에 따라 일반화에 어떤 영향이 있는가?
• RQ5 태스크 간에 사전 학습된 모델을 미세조정하는 것과 동결하는 것의 상대적 이점은 무엇인가?

주요 결과

• 사전 학습된 단백질 언어 모델(ESM-1b, ProtBert)은 대다수 태스크에서 최상위 성능을 달성하며, 특히 미세조정될 때 그렇다.
• 공유 인코더를 활용한 다중 작업 학습은 중심 태스크에서 단일 작업 베이스라인보다 성능을 더욱 향상시킬 수 있다.
• 통계적 특징(DDE)은 특정 태스크에서 학습된 인코더와 경쟁력이 있을 수 있으며, 시퀀스의 보완적 신호를 강조한다.
• 여러 태스크에서 처음부터 학습시킬 때 얕은 CNN이 더 깊은 모델보다 성능이 좋을 수 있다.
• PPI 및 PLI 태스크는 데이터 분할에 대해 강한 민감도를 보이며 일반화를 평가하려면 재현성 제거에 신중을 기해야 한다.