[論文レビュー] Enhancing the Protein Tertiary Structure Prediction by Multiple Sequence Alignment Generation

Le Zhang, Jiayang Chen+3 more|arXiv (Cornell University)|Jun 2, 2023

Protein Structure and Dynamics被引用数 6

ひとこと要約

本論文では、低品質な複数配列アラインメント（MSA）を、進化的に整合性のある新しいタンパク質配列を生成することで向上させるトランスフォーマー基盤の生成モデル、MSA-Augmenterを紹介する。新規に生成された配列で浅いMSAを拡張することで、特に相同配列が少ないターゲットにおいて、AlphaFold2のタンパク質三次構造予測精度を顕著に向上させ、CASP14ベンチマークで最先端の性能向上を達成した。

ABSTRACT

The field of protein folding research has been greatly advanced by deep learning methods, with AlphaFold2 (AF2) demonstrating exceptional performance and atomic-level precision. As co-evolution is integral to protein structure prediction, AF2's accuracy is significantly influenced by the depth of multiple sequence alignment (MSA), which requires extensive exploration of a large protein database for similar sequences. However, not all protein sequences possess abundant homologous families, and consequently, AF2's performance can degrade on such queries, at times failing to produce meaningful results. To address this, we introduce a novel generative language model, MSA-Augmenter, which leverages protein-specific attention mechanisms and large-scale MSAs to generate useful, novel protein sequences not currently found in databases. These sequences supplement shallow MSAs, enhancing the accuracy of structural property predictions. Our experiments on CASP14 demonstrate that MSA-Augmenter can generate de novo sequences that retain co-evolutionary information from inferior MSAs, thereby improving protein structure prediction quality on top of strong AF2.

研究の動機と目的

• 相同配列が不足するためMSAが浅くなる状況で、タンパク質三次構造予測精度が低下する問題に対処すること。
• 低深さのMSAを豊かにするために、生物学的に妥当で、共進化的に一貫性のあるタンパク質配列を生成する手法を開発すること。
• 生成された配列を追加の進化的情報として統合することで、下流の構造予測性能を向上させること。
• 特に相同配列が少ないケースにおいて、配列生成の有効性がMSA品質および構造予測精度に与える影響を評価すること。
• pLDDTが生成されたMSAの選定基準として信頼できるかを検討し、より良いフィルタリング戦略を探索すること。

提案手法

• MSA-Augmenterは、単一の入力MSAから同時に複数の相同タンパク質配列を生成する、シーケンス・トゥ・シーケンスのトランスフォーマー・モデルである。
• モデルは、入力MSAからのグローバルな構造的および進化的な情報を符号化するために、タンパク質固有の自己注意機構を用いる。
• 200万件のタンパク質MSAから成る大規模データセットを用いて、共進化パターンを学習するためのマスクド言語モデル学習目的を実施する。
• 生成された配列は元のMSAに追加され、強化されたアラインメントが作成され、その後AlphaFold2による構造予測の入力として使用される。
• 複数回の生成結果をアンサンブルすることで、出力の信頼性を高め、高品質な出力を選別する。
• 本手法は、深さが50未満のCASP14のMSAを用いて評価され、通常は性能が低下する傾向があるターゲットに焦点を当てる。

Figure 1: Procedure overview. A low-quality MSA is introduced into the encoder as the source input, from which the decoder concurrently generates multiple homologous sequences. Subsequently, these sequences are appended to the low-quality MSA to create an enhanced MSA, which is then supplied to the

実験結果

リサーチクエスチョン

• RQ1 生成モデルが、MSAの品質を向上させ、三次構造予測精度を向上させる進化的に整合性のあるタンパク質配列を生成できるか？
• RQ2 MSAの深さが異なる場合、特に低相同性ケースにおいて、MSA-Augmenterの性能はどのように変化するか？
• RQ3 pLDDTスコアは、複数回の生成から最良の拡張MSAを選定する基準として信頼できるか？
• RQ4 本手法は、浅いMSAを有する挑戦的なCASP14ターゲットにおいて、AlphaFold2の性能を顕著に向上させられるか？
• RQ5 アンサンブル生成と選別戦略の影響は、最終的な予測精度にどのように現れるか？

主な発見

• MSA-Augmenterは、特に相同配列が10個未塔のタンパク質に対して、CASP14ターゲットにおけるタンパク質構造予測精度を顕著に向上させた。
• T1093-D1（深さ2）では平均LDDTが25.27向上し、最も挑戦的なケースにおいて強い向上効果を示した。
• T1096-D1（深さ7）では、拡張後、LDDTスコアが9.27ポイント向上し、浅いMSAにおいても一貫した向上が得られた。
• 研究では、pLDDTが信頼できない選定基準であることが判明した。実際のLDDT向上と逆相関する傾向があり、一部のケースでは高いpLDDTスコアにもかかわらず性能が低下する事例も観察された。
• pLDDTではなく、真値LDDTに基づいて最良のMSAを選択した場合、本手法は未だに潜在能力を秘めており、より良いフィルタリング戦略を導入すればさらなる向上が期待できることが示唆された。
• モデルの性能は、非常に浅いMSA（深さ<10）に対して最も顕著であり、中程度の深さ（10<深さ<50）では収益が減少する傾向を示した。これは、事前学習データからの分布シフトが原因である可能性が高い。

Figure 2: MSA-Augmenter overview (Top) Architecture and Pipeline and Module Attention Operations; (Bottom) Attention mechanism. In representing a single position, the red star denotes the query, while the red boxes signify keys and values for attention processing and computation.