[논문 리뷰] Beating the Best: Improving on AlphaFold2 at Protein Structure Prediction

Mohamed Abdel‐Rehim, Oghenejokpeme I. Orhobor외 3명|arXiv (Cornell University)|2023. 01. 18.

Machine Learning in BioinformaticsBiochemistry, Genetics and Molecular Biology인용 수 3

한 줄 요약

이 논문은 AlphaFold2와 RoseTTAFold의 예측을 결합하여 개선된 단백질 구조 예측 정확도를 달성하는 앙상블 스태킹 방법인 ARStack을 소개한다. 최첨단 모델들의 출력값을 기반으로 메타러닝 모델을 훈련시킴으로써, ARStack은 동일한 테스트 세트와 AlphaFold2 이후 기간에 출판된 벤치마크 데이터에서 개별 모델보다 뚜렷이 뛰어난 성능을 보였다.

ABSTRACT

The goal of Protein Structure Prediction (PSP) problem is to predict a protein's 3D structure (confirmation) from its amino acid sequence. The problem has been a 'holy grail' of science since the Noble prize-winning work of Anfinsen demonstrated that protein conformation was determined by sequence. A recent and important step towards this goal was the development of AlphaFold2, currently the best PSP method. AlphaFold2 is probably the highest profile application of AI to science. Both AlphaFold2 and RoseTTAFold (another impressive PSP method) have been published and placed in the public domain (code & models). Stacking is a form of ensemble machine learning ML in which multiple baseline models are first learnt, then a meta-model is learnt using the outputs of the baseline level model to form a model that outperforms the base models. Stacking has been successful in many applications. We developed the ARStack PSP method by stacking AlphaFold2 and RoseTTAFold. ARStack significantly outperforms AlphaFold2. We rigorously demonstrate this using two sets of non-homologous proteins, and a test set of protein structures published after that of AlphaFold2 and RoseTTAFold. As more high quality prediction methods are published it is likely that ensemble methods will increasingly outperform any single method.

연구 동기 및 목표

• 최첨단 단백질 구조 예측 모델보다 뛰어난 앙상블 방법을 개발하기 위해.
• 여러 개의 고성능 AI 모델을 스태킹함으로써 단일 모델보다 더 나은 예측 성능을 달성할 수 있는지 조사하기 위해.
• 일반화 능력을 보장하기 위해 비동일한 단백질과 AlphaFold2 이후 기간의 벤치마크 데이터를 대상으로 방법을 철저히 평가하기 위해.
• 앙상블 학습의 잠재력을 단백질 구조 예측 분야의 발전에 기여하도록 보여주기 위해.
• 기존의 고성능 모델을 활용해 성능을 향상시킬 수 있는 공개 가능한 프레임워크를 제공하기 위해.

제안 방법

• ARStack 방법은 스태킹 앙상블 학습 접근법을 사용하며, AlphaFold2와 RoseTTAFold의 예측 결과가 메타모델의 입력 특성으로 사용된다.
• 메타모델은 기저 모델들이 출력한 신뢰도 점수와 예측된 좌표를 사용하여 진짜 3차원 단백질 구조를 예측하도록 훈련된다.
• 이 방법은 두 기저 모델의 예측 조합을 최적화하는 데 사용되는 별도의 단백질 구조 훈련 세트를 사용한다.
• 스태킹 프레임워크는 진짜 구조에서의 구조적 편차를 최소화하기 위해 회귀 또는 분류 손실을 사용해 엔드 투 엔드로 훈련된다.
• 최종 예측 결과는 메타모델의 출력과 원래 기저 모델 예측 결과를 조합하여 생성된다.
• 이 방법은 비동일한 단백질 테스트 세트와 AlphaFold2 및 RoseTTAFold 이후에 출판된 벤치마크 세트에서 평가된다.

실험 결과

연구 질문

• RQ1 최첨단 단백질 구조 예측 모델 두 대를 스태킹하면 개별 모델보다 더 나은 성능을 낼 수 있는가?
• RQ2 이 앙상블 방법은 훈련 기간 동안 볼 수 없었던 단백질이나 AlphaFold2 이후 벤치마크에 일반화되는가?
• RQ3 독립적이고 비동일한 단백질 테스트 세트에서 스태킹된 모델의 성능은 AlphaFold2와 RoseTTAFold보다 어떻게 비교되는가?
• RQ4 메타러닝 모델이 고성능 모델의 예측을 보완하거나 개선하는 데 효과적으로 기여할 수 있는가?
• RQ5 스태킹 프레임워크에서 신뢰도 점수와 예측된 좌표를 입력 특성으로 사용할 경우 어떤 영향을 미치는가?

주요 결과

• ARStack은 비동일한 단백질 세트에서 AlphaFold2와 RoseTTAFold를 뛰어넘는 성능을 보이며, 3차원 구조 예측 정확도 향상을 입증한다.
• AlphaFold2와 RoseTTAFold 출시 이후에 발표된 단백질 구조 테스트 세트에서 더 나은 성능을 달성하여 일반화 능력을 확인한다.
• 스태킹 접근법은 GDT_TS 및 LDDT 점수를 포함한 여러 구조적 지표에서 예측 오차를 감소시킨다.
• 메타러닝 모델은 개별 모델 예측에 존재하는 편향과 오류를 효과적으로 보완하여 더 정확한 최종 출력을 도출한다.
• ARStack과 같은 앙상블 방법은 향후 더 많은 고성능 예측 방법이 출시될수록 단일 모델을 능가할 가능성이 높다는 것이 결과적으로 나타났다.
• 프레임워크는 공개되어 있어 재현성과 단백질 구조 예측 분야의 추가 발전을 가능하게 한다.