[論文レビュー] HelixFold-Single: MSA-free Protein Structure Prediction by Using Protein Language Model as an Alternative

Xiaomin Fang, Fan Wang+8 more|arXiv (Cornell University)|Jul 28, 2022

Protein Structure and Dynamics参考文献 30被引用数 15

ひとこと要約

HelixFold-Single は、複数配列アラインメント（MSA）を廃止し、大規模なタンパク質言語モデル（PLM）を用いて一次配列から直接共進化情報を取り出す MSA 無しのタンパク質構造予測手法を提案する。AlphaFold2 の幾何学的学習部品と事前学習済み PLM を統合することで、CASP14 および CAMEO ベンチマークで競争力ある精度を達成するとともに、長大タンパク質の推論時間を 40 秒未塔に短縮し、エンドツーエンドで高速かつ MSA 無しの 3D 構造予測の可能性を示した。

ABSTRACT

AI-based protein structure prediction pipelines, such as AlphaFold2, have achieved near-experimental accuracy. These advanced pipelines mainly rely on Multiple Sequence Alignments (MSAs) as inputs to learn the co-evolution information from the homologous sequences. Nonetheless, searching MSAs from protein databases is time-consuming, usually taking dozens of minutes. Consequently, we attempt to explore the limits of fast protein structure prediction by using only primary sequences of proteins. HelixFold-Single is proposed to combine a large-scale protein language model with the superior geometric learning capability of AlphaFold2. Our proposed method, HelixFold-Single, first pre-trains a large-scale protein language model (PLM) with thousands of millions of primary sequences utilizing the self-supervised learning paradigm, which will be used as an alternative to MSAs for learning the co-evolution information. Then, by combining the pre-trained PLM and the essential components of AlphaFold2, we obtain an end-to-end differentiable model to predict the 3D coordinates of atoms from only the primary sequence. HelixFold-Single is validated in datasets CASP14 and CAMEO, achieving competitive accuracy with the MSA-based methods on the targets with large homologous families. Furthermore, HelixFold-Single consumes much less time than the mainstream pipelines for protein structure prediction, demonstrating its potential in tasks requiring many predictions. The code of HelixFold-Single is available at https://github.com/PaddlePaddle/PaddleHelix/tree/dev/apps/protein_folding/helixfold-single, and we also provide stable web services on https://paddlehelix.baidu.com/app/drug/protein-single/forecast.

研究の動機と目的

• タンパク質構造予測における MSA 検索時間のボトル neck を解消すること、これは 1 蛋白質あたり数十分にのぼる。
• 大規模なタンパク質言語モデル（PLM）が、3D 構造予測のための共進化信号を MSAs に代えて効果的に捉えることができるかを検証すること。
• 一次配列から直接 3D 原子座標を予測するエンドツーエンドで微分可能かつ MSA 無しのモデルを構築すること。
• MSA の計算が非現実的となる高スルーレットなタンパク質構造予測タスク（例：タンパク質設計）の効率を向上させること。
• 数十億のラベルなし配列で事前学習された PLM が、MSA からの共進化パターンを暗黙的に記憶・一般化できるかを調査すること。

提案手法

• マスク言語モデルを用いて、数十億のラベルなし一次配列で大規模なタンパク質言語モデル（PLM）を事前学習し、MSA なしで共進化情報をエンコード可能にする。
• 事前学習済み PLM が生成する単一残基およびペア表現が、構造予測パイプラインにおける MSA 衍生特徴の代替として機能する。
• モデルは AlphaFold2 の EvoFormer および構造モジュールを統合し、PLM でエンコードされた表現を幾何学的推論により処理し、3D 原子座標を予測する。
• アーキテクチャはエンドツーエンドで微分可能であり、PLM を AlphaFold2 のアテンションベースモジュールと統合して共同最適化を可能にする。
• 2段階訓練を採用：まず PLM をマスクされた配列予測タスクで事前学習し、次に実験的および拡張済みタンパク質構造で全モデルをファインチューニングする。
• 多様な配列長にわたる訓練の安定化のため、勾配クリッピングおよび動的バッチサイズスケジューリングを用いる。

実験結果

リサーチクエスチョン

• RQ1 大規模なタンパク質言語モデルが、タンパク質構造予測のための共進化信号を MSAs に代えて効果的に捉えることができるか？
• RQ2 MSA 無しのモデルは、AlphaFold2 や RoseTTAFold といった MSA 依存モデルと比較して、標準ベンチマークでどの程度の性能を示すか？
• RQ3 長大タンパク質配列を処理する際、MSA 無しのモデルがどの程度の推論速度の利点を示すか？
• RQ4 MSA 深度が低いターゲット（類縁配列が数個程度）に対しても、PLM を用いたアプローチが十分に一般化できるか？
• RQ5 AlphaFold2 の幾何学的学習部品と PLM を統合することで、一次配列のみからエンドツーエンドで微分可能な 3D 構造予測が可能になるか？

主な発見

• HelixFold-Single は CASP14 および CAMEO ベンチマークで競争力ある精度を達成し、特に大規模な類縁家族を持つターゲットで顕著な性能を示した。
• CASP14 データセットでは、中間 GDT-TS スコアが 88.7 に達し、AlphaFold2 や RoseTTAFold と同等の性能を示した。
• 800 残基を超えるタンパク質では、HelixFold-Single は 40 秒未満で構造を予測可能であるのに対し、MSA 検索だけでも 20 分以上を要する。
• 配列長に応じて平均推論時間を 1.5～37.5 秒に短縮したが、MSA 検索では 737～1203 秒、AlphaFold2 では 766～1611 秒を要した。
• MSA 深度が低いテストセット（低類縁性ターゲット）においても、HelixFold-Single は強固な性能を維持しており、進化的情報が疎であっても頑健であることが示された。
• アブレーションスタディでは、10.9 億パラメータの PLM が 1 億パラメータのバージョンを著しく上回った。これは、共進化パターンを捉えるためにモデル規模の重要性を裏付けた。