[論文レビュー] Protein-Nucleic Acid Complex Modeling with Frame Averaging Transformer

Tinglin Huang, Zhenqiao Song+2 more|arXiv (Cornell University)|Jun 13, 2024

Bacteriophages and microbial interactionsEnvironmental Science被引用数 3

ひとこと要約

本稿では、タンパク質-核酸複合体をモデル化するための等長的トランスフォーマーであるFAFormerを提案する。各トランスフォーマーブロック内にフレーム平均化（FA）を統合することで、幾何学的に注意を払った形でアミノ酸-塩基対応接触マップを予測する。接触マップ予測において10%以上の相対的改善を達成し、RoseTTAFoldNAに比べて20–30倍高速な推論を実現する非教師ありアプタマースクリーニングを可能にした。実世界のアプタマーデータセットにおいても、RoseTTAFoldNAを上回る性能を示した。

ABSTRACT

Nucleic acid-based drugs like aptamers have recently demonstrated great therapeutic potential. However, experimental platforms for aptamer screening are costly, and the scarcity of labeled data presents a challenge for supervised methods to learn protein-aptamer binding. To this end, we develop an unsupervised learning approach based on the predicted pairwise contact map between a protein and a nucleic acid and demonstrate its effectiveness in protein-aptamer binding prediction. Our model is based on FAFormer, a novel equivariant transformer architecture that seamlessly integrates frame averaging (FA) within each transformer block. This integration allows our model to infuse geometric information into node features while preserving the spatial semantics of coordinates, leading to greater expressive power than standard FA models. Our results show that FAFormer outperforms existing equivariant models in contact map prediction across three protein complex datasets, with over 10% relative improvement. Moreover, we curate five real-world protein-aptamer interaction datasets and show that the contact map predicted by FAFormer serves as a strong binding indicator for aptamer screening.

研究の動機と目的

• タンパク質-アプタマー結合予測におけるラベル付きデータの不足という課題に対処するため、教師なし学習アプローチを開発すること。
• 幾何的深層学習を用いてタンパク質-核酸複合体の接触マップ予測を改善すること。
• 高価な実験データを必要とせずに、大規模かつ効率的なアプタマースクリーニングを可能にすること。
• 3次元座標の空間的意味を保持したまま、トランスフォーマー・アーキテクチャに幾何的不変性を統合すること。

提案手法

• FAFormerは、各トランスフォーマーブロック内にフレーム平均化（FA）を埋め込んだ、新しい等長的トランスフォーマー・アーキテクチャを採用している。
• 局所フレームエッジモジュールを用いて、ノードとその近隣ノード間の局所的対応関係を幾何学的フレームを用いて符号化する。
• バイアス付きMLPアテンションモジュールにより、関係性に基づくエッジ特徴をアテンション機構に統合し、等長的な座標更新を可能にする。
• グローバルフレームFFNレイヤーは、グローバルな文脈全体にわたり幾何的情報をノード表現に統合する。
• モデルはエンド・ツー・エンドに訓練され、3次元構造からアミノ酸-塩基対応接触マップを予測する。結合親和定数は、接触確率の最大値として推定される。
• 推論の高速化のため、MSA依存モデルではなく、ESMFoldが予測した非結合状態の構造を用いる。

Figure 1: (a) The pipeline of contact map prediction between protein and nucleic acid, and applying the predicted results for screening in an unsupervised manner. The affinity score is quantified as the maximum contact probability over all pairs. (b) Comparison between Transformer with vanilla frame

実験結果

リサーチクエスチョン

• RQ1 各トランスフォーマーブロック内に統合されたフレーム平均化は、タンパク質-核酸複合体の幾何的モデリングを改善できるか？
• RQ2 提案されたFAFormerアーキテクチャは、多様なタンパク質複合体データセットにおいて、既存の等長的モデルを上回る接触マップ予測性能を示せるか？
• RQ3 FAFormerが予測する接触マップは、非教師ありスクリーニングの有効な指標として機能できるか？
• RQ4 アプタマースクリーニングにおいて、FAFormerはRoseTTAFoldNAのような大規模事前学習モデルと比較して、速度と精度の両面で優れているか？

主な発見

• FAFormerは、最先端の等長的モデルと比較して、3つのタンパク質複合体データセットで接触マップ予測において10%以上の相対的改善を達成した。
• 5つのキュレートされた実世界のタンパク質-アプタマー相互作用データセットにおいて、FAFormerはRoseTTAFoldNAを上回り、Top10およびTop50の精度、PRAUCスコアが良好であった。
• 同じスクリーニングタスクにおいて、FAFormerはRoseTTAFoldNAに比べて20–30倍高速な推論を実現した。平均推論時間は、タンパク質-DNAで32.65秒、タンパク質-RNAで51.75秒であった。
• 接触マップ予測において、FAFormerはテストセットではRoseTTAFoldNAと同等の性能を示したが、未観測のターゲットに対しては優れた一般化性能を維持した。
• PDB ID 7DVVおよび7KX9のケーススタディでは、接触パターンが疎であっても、FAFormerが予測する接触マップが真値とよく一致した。
• 各トランスフォーマーブロック内にフレーム平均化を統合することで、標準的なFAや球面調和関数に基づく手法よりも優れた幾何的表現力を得られ、計算コストの増加も抑えられた。

Figure 2: Overview of FAFormer architecture. The input consists of the node features, coordinates, and edge representations, which are processed by a stack of (b) Biased MLP Attention Module, (c) Local Frame Edge Module, (d) Global Frame FFN, and (e) Gate Function. $\sum$ deontes aggregation, $\cdot