[論文レビュー] Autoregressive Enzyme Function Prediction with Multi-scale Multi-modality Fusion

Dingyi Rong, Wenzhuo Zheng+4 more|arXiv (Cornell University)|Aug 11, 2024

Machine Learning in BioinformaticsBiochemistry, Genetics and Molecular Biology被引用数 3

ひとこと要約

MAPred は、二重パスウェイネットワークを用いてマルチスケールのタンパク質配列および 3Di 構造表現を統合することで、酵素の EC 番号を予測する画期的な自己回帰的深層学習モデルである。ベンチマークデータセット上での性能は優れており（New-392 で F1: 0.610、Price で F1: 0.493、New-815 で F1: 0.680）、階層的な EC 番号構造の活用と機能部位への注目メカニズムにより、優れた予測精度を実現している。

ABSTRACT

Accurate prediction of enzyme function is crucial for elucidating biological mechanisms and driving innovation across various sectors. Existing deep learning methods tend to rely solely on either sequence data or structural data and predict the EC number as a whole, neglecting the intrinsic hierarchical structure of EC numbers. To address these limitations, we introduce MAPred, a novel multi-modality and multi-scale model designed to autoregressively predict the EC number of proteins. MAPred integrates both the primary amino acid sequence and the 3D tokens of proteins, employing a dual-pathway approach to capture comprehensive protein characteristics and essential local functional sites. Additionally, MAPred utilizes an autoregressive prediction network to sequentially predict the digits of the EC number, leveraging the hierarchical organization of EC classifications. Evaluations on benchmark datasets, including New-392, Price, and New-815, demonstrate that our method outperforms existing models, marking a significant advance in the reliability and granularity of protein function prediction within bioinformatics.

研究の動機と目的

• 既存の EC 番号予測モデルが単一の配列または構造に依存し、EC 番号の階層的性質を無視するという限界を是正すること。
• 3Di トークンを用いて一次アミノ酸配列と 3D 構造表現を統合することで、機能予測の精度を向上させること。
• 注目可視化を用いて重要な機能的アミノ酸を特定することで、モデルの解釈性を向上させること。
• グローバルなタンパク質コンテキストとローカルな機能モチーフを両方捉えるマルチスケール・マルチモダリティフレームワークを構築すること。
• EC 番号予測を逐次的・自己回帰的タスクとしてモデル化することで、酵素機能予測の新しいパラダイムを確立すること。

提案手法

• MAPred は ProstT5 を用いてタンパク質配列から 3Di トークンを生成し、3D タンパク質幾何構造の構造的表現を可能にしている。
• 二重パスウェイアーキテクチャを採用：グローバル特徴抽出にはインタラーリーブド配列-3Di 相互注意を、ローカル特徴抽出には畳み込みニューラルネットワーク（CNN）を用いている。
• 自己回帰的予測ヘッドを適用し、EC 番号の4桁を逐次的に予測することで、その階層的依存関係をモデル化している。
• マルチモダリティ入力（配列および 3Di）をネットワークの初期段階で統合することで、共同表現学習を可能にしている。
• 注目メカニズムを用いてモデル予測を解釈し、機能的領域を特定するため、3D タンパク質構造上にサリエンシー マップを可視化している。
• アブレーションスタディでは、個々のコンポONENT（グローバルパス、ローカルパス、自己回帰的ヘッド）を無効化することで、その寄与度を評価している。

実験結果

リサーチクエスチョン

• RQ1 配列と 3Di 構造表現を統合するマルチモーダル・マルチスケールの深層学習モデルが、EC 番号予測の精度を向上させることができるか？
• RQ2 EC 番号予測を自己回帰的逐次タスクとしてモデル化することで、階層的ラベル構造を活用し、性能向上が達成できるか？
• RQ3 モデルは、触媒センター や基質結合領域などの生物学的に重要な機能部位に注目する能力を学習できるか？
• RQ4 グローバルおよびローカル特徴抽出パスウェイは、予測性能にそれぞれどのように寄与しているか？
• RQ5 マルチモダリティ入力（配列＋3Di）は、単一モダリティ入力よりもどの程度優れているか？

主な発見

• MAPred は New-392 データセットで F1 スコア 0.610 を達成し、既存のモデルを上回っている。
• Price データセットでは F1 スコア 0.493 を達成し、多様で挑戦的な酵素セットにおいても優れた性能を示している。
• New-815 ベンチマークでは F1 スコア 0.680 を達成し、機能予測における高い汎化性能と正確性を示している。
• アブレーションスタディの結果、グローバル特徴抽出パスウェイを無効化すると、性能が著しく低下（New-392 で F1: 0.651 → 0.354）し、その重要性が浮き彫りになった。
• ローカル特徴抽出パスウェイも顕著に寄与しているが、グローバルパスウェイほどではないため、局所的構造モチーフの重要性が示された。
• 自己回帰的予測ヘッドを無効化すると性能が低下し、EC 番号の階層的構造をモデル化することで予測精度が向上することが確認された。