[論文レビュー] Beating the Best: Improving on AlphaFold2 at Protein Structure Prediction

Mohamed Abdel‐Rehim, Oghenejokpeme I. Orhobor+3 more|arXiv (Cornell University)|Jan 18, 2023

Machine Learning in BioinformaticsBiochemistry, Genetics and Molecular Biology被引用数 3

ひとこと要約

この論文では、AlphaFold2 と RoseTTAFold の予測を組み合わせることで、より高いたんぱく質構造予測精度を達成するアンサンブルスタッキング手法 ARStack を紹介している。最先端のこれらのモデルの出力に対してメタラーナーを訓練することで、非相同タンパク質のテストセットおよび post-AlphaFold2 ベンチマークデータにおいて、両モデルをはるかに上回る性能を発揮する。

ABSTRACT

The goal of Protein Structure Prediction (PSP) problem is to predict a protein's 3D structure (confirmation) from its amino acid sequence. The problem has been a 'holy grail' of science since the Noble prize-winning work of Anfinsen demonstrated that protein conformation was determined by sequence. A recent and important step towards this goal was the development of AlphaFold2, currently the best PSP method. AlphaFold2 is probably the highest profile application of AI to science. Both AlphaFold2 and RoseTTAFold (another impressive PSP method) have been published and placed in the public domain (code & models). Stacking is a form of ensemble machine learning ML in which multiple baseline models are first learnt, then a meta-model is learnt using the outputs of the baseline level model to form a model that outperforms the base models. Stacking has been successful in many applications. We developed the ARStack PSP method by stacking AlphaFold2 and RoseTTAFold. ARStack significantly outperforms AlphaFold2. We rigorously demonstrate this using two sets of non-homologous proteins, and a test set of protein structures published after that of AlphaFold2 and RoseTTAFold. As more high quality prediction methods are published it is likely that ensemble methods will increasingly outperform any single method.

研究の動機と目的

• 個々の最先端のたんぱく質構造予測モデルを上回るアンサンブル手法を開発すること。
• 複数の高性能な AI モデルをスタッキングすることで、単一モデルよりも優れた予測が得られるかどうかを調査すること。
• 一般化を保証するため、非相同タンパク質および post-AlphaFold2 テストセットを用いて、手法を厳密に評価すること。
• アンサンブル学習が、たんぱく質構造予測分野の発展に与える可能性を示すこと。
• 既存の高品質なモデルを活用して性能を向上させる、公開可能なフレームワークを提供すること。

提案手法

• ARStack 法は、スタッキングアンサンブル学習アプローチを採用しており、AlphaFold2 と RoseTTAFold の予測結果をメタモデルの入力特徴として用いる。
• メタモデルは、ベースモデルの信頼性スコアと予測座標を用いて、真の 3D たんぱく質構造を予測するように訓練される。
• 2 つのベースモデルの予測の最適な組み合わせを学ぶために、タンパク質構造の別個の訓練セットが使用される。
• 構造的偏差を最小化するように、回帰または分類損失を用いて、エンドツーエンドでスタッキングフレームワークを訓練する。
• 最終的な予測は、メタモデルの出力と元のベースモデルの予測を組み合わせることで生成される。
• このアプローチは、非相同テストセットおよび AlphaFold2 と RoseTTAFold 発表後に公開されたベンチマークセットのタンパク質で評価されている。

実験結果

リサーチクエスチョン

• RQ1 2 つの最先端のたんぱく質構造予測モデルをスタッキングすることで、個々のモデルよりも優れた性能が得られるか？
• RQ2 このアンサンブル手法は、トレーニング時に見なかったタンパク質や post-AlphaFold2 ベンチマークに一般化できるか？
• RQ3 独立した非相同テストセットにおいて、スタックドモデルの性能は AlphaFold2 や RoseTTAFold と比べてどうか？
• RQ4 メタラーナーは、高性能モデルの予測を補正または改善するのに効果的に機能するか？
• RQ5 スタッキングフレームワークにおける信頼性スコアと予測座標を入力特徴として用いる影響は何か？

主な発見

• ARStack は、非相同タンパク質のセットにおいて、AlphaFold2 や RoseTTAFold を顕著に上回り、3D 構造予測の精度が向上していることを示している。
• AlphaFold2 および RoseTTAFold 発表後に公開されたタンパク質のテストセットにおいても、同手法はより高い性能を発揮しており、一般化能力が確認されている。
• スタッキングアプローチにより、GDT_TS や LDDT スコアを含む複数の構造的指標における予測誤差が低減されている。
• メタラーナーは、個々のモデル予測に存在するバイアスや誤りを効果的に学習し、より正確な最終出力を得ている。
• 結果から、より多くの高品質な予測手法が登場するに従い、ARStack のようなアンサンブル手法が単一モデルを上回る可能性が高まると示唆される。
• フレームワークは公開されており、たんぱく質構造予測コミュニティにおける再現性およびさらなる開発を可能としている。