[논문 리뷰] ProteinBench: A Holistic Evaluation of Protein Foundation Models

Fei Ye, Zaixiang Zheng외 8명|arXiv (Cornell University)|2024. 09. 10.

Biomedical Text Mining and OntologiesBiochemistry, Genetics and Molecular Biology인용 수 3

한 줄 요약

ProteinBench는 단백질 기초 모델을 위한 통합적이고 종합적인 평가 프레임워크를 도입하며, 모odal 관계에 따라 작업을 분류하고 표준화된 지표를 사용해 품질, 신선도, 다양성, 내구성 측면에서 성능을 평가한다. 이 벤치마크는 단백질 설계 및 구조적 동역학 분야에서 모델의 강점과 한계에 대한 핵심 통찰을 드러내며, 코드, 데이터셋, 랭킹표를 공개하여 향후 평가의 표준화를 지원한다.

ABSTRACT

Recent years have witnessed a surge in the development of protein foundation models, significantly improving performance in protein prediction and generative tasks ranging from 3D structure prediction and protein design to conformational dynamics. However, the capabilities and limitations associated with these models remain poorly understood due to the absence of a unified evaluation framework. To fill this gap, we introduce ProteinBench, a holistic evaluation framework designed to enhance the transparency of protein foundation models. Our approach consists of three key components: (i) A taxonomic classification of tasks that broadly encompass the main challenges in the protein domain, based on the relationships between different protein modalities; (ii) A multi-metric evaluation approach that assesses performance across four key dimensions: quality, novelty, diversity, and robustness; and (iii) In-depth analyses from various user objectives, providing a holistic view of model performance. Our comprehensive evaluation of protein foundation models reveals several key findings that shed light on their current capabilities and limitations. To promote transparency and facilitate further research, we release the evaluation dataset, code, and a public leaderboard publicly for further analysis and a general modular toolkit. We intend for ProteinBench to be a living benchmark for establishing a standardized, in-depth evaluation framework for protein foundation models, driving their development and application while fostering collaboration within the field.

연구 동기 및 목표

• 단백질 기초 모델에 대한 통합 평가 프레임워크의 부재로 인해 성능 평가의 공정성과 투명성이 저해되는 문제를 해결하기 위해.
• 시퀀스, 구조, 기능 모달 간의 관계에 기반해 단백질 모델링 작업을 체계적으로 분류하기 위해.
• 모델 출력물의 품질, 신선도, 다양성, 내구성이라는 네 가지 핵심 차원을 평가하는 다중 지표 평가 프로토콜을 개발하기 위해.
• 다양한 생물학적 영역에서 모델의 능력과 한계를 드러내는 사용자 목표 기반의 깊이 있는 분석을 제공하기 위해.
• 공개된 모듈식 툴킷을 제공하여 데이터셋, 코드, 랭킹표를 포함해 재현 가능하고 표준화된 벤치마크를 가능하게 하고 분야 내 협업을 촉진하기 위해.

제안 방법

• 시퀀스, 구조, 기능 모달 간의 관계에 기반해 단백질 모델링 작업을 네 가지 주요 범주로 분류: 구조 설계, 시퀀스 설계, 구조-시퀀스 공통 설계, 항체 설계.
• 품질(예: pLDDT, pTM, CA-clash, CA-break, PepBond-break), 신선도(학습 데이터와의 시퀀스 일치도), 다양성(시퀀스 및 구조 변동성), 내구성(입력 변형에 대한 민감도)의 네 차원에서 성능을 평가하는 다중 지표 평가 프레임워크.
• BPTI, 아포-홀로, ATLAS 등을 포함한 다양한 생물학적 영역을 아우르는 정제된 다각도 데이터셋을 활용해 모델 평가의 포괄성을 확보.
• AlphaFold2, ESMFold, RoseTTAFold2, EigenFold, Str2Str, AlphaFlow/ESMFlow, ConfDiff를 포함한 11종의 최신 단백질 기초 모델을 표준화된 추론 파이프라인과 하이퍼파라미터를 사용해 구현.
• 예측 구조의 기하학적 타당성과 안정성을 평가하기 위해 CA-clash %, CA-break %, PepBond-break % 등의 구조적 검증 지표를 적용.
• 앙상블 추론과 신뢰도 스코링(pLDDT, ELBO 등)을 활용해 최적의 예측을 선별하고 평가의 내구성을 확보.

실험 결과

연구 질문

• RQ1 단백질 기초 모델은 구조 설계, 시퀀스 설계, 구조적 동역학을 포함한 다양한 생성 작업 유형에서 어떻게 성능을 발휘하는가?
• RQ2 모델 출력물의 신선도, 다양성, 구조적 품질은 어느 정도이며, 이러한 지표들은 모델 아키텍처에 따라 어떻게 달라지는가?
• RQ3 MSA 서브샘플링 또는 시퀀스 수정과 같은 입력 변형에 대해 단백질 기초 모델은 얼마나 내구성이 있는가?
• RQ4 네 가지 평가 차원에서 모델 성능에 영향을 미치는 주요 아키텍처적 및 데이터 기반 요인는 무엇인가?
• RQ5 다중 모달 모델은 단일 모달 모델에 비해 복잡한 시퀀스-구조-기능 관계를 얼마나 잘 포괄하는가?

주요 결과

• 단백질 기초 모델은 3D 구조 예측에서 뛰어난 성능을 보이며, AlphaFold2와 ESMFold가 높은 pLDDT 및 pTM 점수를 기록하지만, 구조적 동역학 작업에서는 상당한 변동성이 존재한다.
• Str2Str 및 AlphaFlow/ESMFlow와 같은 모델은 구조적 동역학 샘플링에서 향상된 성능을 보이며, 전통적 모델 대비 낮은 CA-clash 및 PepBond-break 비율을 기록한다.
• 일부 경우에서 모델이 생성한 시퀀스의 상당 부분(최대 30%)이 학습 데이터와 낮은 일치도를 보이며 높은 신선도를 나타내지만, 이는 항상 구조적 품질과 상관관계가 있는 것은 아니다.
• 다양성 지표 분석을 통해 ConfDiff 및 Str2Str와 같은 모델이 더 구조적으로 상이한 구조를 생성함으로써 구조적 다양성의 영역을 더 잘 탐색하고 있음을 확인했다.
• 내구성 분석 결과, OpenFold 및 AlphaFold2와 같은 모델은 MSA 서브샘플링에 의해 성능이 크게 악화됨을 확인했으며, 입력 데이터 품질에 민감함을 드러냈다.
• 이 벤치마크는 현재 평가에서의 심각한 격차를 특정적으로 규명하였으며, 특히 구조적 동역학 및 항체 설계 분야에 표준화된 지표가 부재한 바탕에서 이러한 분야의 평가 부족을 드러냈다.