[論文レビュー] TransMA: an explainable multi-modal deep learning model for predicting properties of ionizable lipid nanoparticles in mRNA delivery

Kun Wu, Zixu Wang+5 more|arXiv (Cornell University)|Jul 8, 2024

RNA Interference and Gene DeliveryBiochemistry, Genetics and Molecular Biology被引用数 3

ひとこと要約

TransMA は、分子の 3D 空間的特徴と 1D 逐次的特徴を、それぞれ分子 3D Transformer と分子 Mamba を用いて統合する、説明可能なマルチモーダル深層学習モデルである。新規の mol アテンション機構により特徴のアライメントが行われ、イオン化可能リピッドナノプレパラート（LNPs）のトランスフェクション効率を予測する。最大の既存 LNP データセット上で最先端の性能を達成し、特にトランスフェクションクリフペアにおいて、トランスフェクション効率の変化を引き起こす主要な原子を同定する。

ABSTRACT

As the primary mRNA delivery vehicles, ionizable lipid nanoparticles (LNPs) exhibit excellent safety, high transfection efficiency, and strong immune response induction. However, the screening process for LNPs is time-consuming and costly. To expedite the identification of high-transfection-efficiency mRNA drug delivery systems, we propose an explainable LNPs transfection efficiency prediction model, called TransMA. TransMA employs a multi-modal molecular structure fusion architecture, wherein the fine-grained atomic spatial relationship extractor named molecule 3D Transformer captures three-dimensional spatial features of the molecule, and the coarse-grained atomic sequence extractor named molecule Mamba captures one-dimensional molecular features. We design the mol-attention mechanism block, enabling it to align coarse and fine-grained atomic features and captures relationships between atomic spatial and sequential structures. TransMA achieves state-of-the-art performance in predicting transfection efficiency using the scaffold and cliff data splitting methods on the current largest LNPs dataset, including Hela and RAW cell lines. Moreover, we find that TransMA captures the relationship between subtle structural changes and significant transfection efficiency variations, providing valuable insights for LNPs design. Additionally, TransMA's predictions on external transfection efficiency data maintain a consistent order with actual transfection efficiencies, demonstrating its robust generalization capability. The code, model and data are made publicly available at https://github.com/wklix/TransMA/tree/master. We hope that high-accuracy transfection prediction models in the future can aid in LNPs design and initial screening, thereby assisting in accelerating the mRNA design process.

研究の動機と目的

• イオン化可能リピッドナノプレパラート（LNP）のトランスフェクション効率を正確かつ自動的に予測できる仕組みを提供することで、高効率なmRNA送達システムの発見を加速すること。
• 既存のモデルの限界を克服するため、3D 空間的特徴と 1D 逐次的特徴というマルチモーダルな分子特徴を統合した統一されたアーキテクチャを構築すること。
• 特にトランスフェクションクリフペアにおいて顕著なトランスフェクション効率の変化を引き起こす特定の原子を同定することで、モデルの解釈可能性を向上させること。
• 異なる細胞線およびフォーミュレーションをカバーする外部で未学習のデータセットを用いた検証により、一般化性能を向上させること。

提案手法

• TransMA は、分子構造の微細な 3D 空間的特徴を抽出するための分子 3D Transformer を用いたマルチモーダルな分子構造統合アーキテクチャを採用している。
• 一方、粗い粒度の 1 次元分子配列特徴を捉えるために、分子 Mamba モデルを用いている。
• 3D 空間的特徴と 1D 逐次的特徴の統合とアライメントを実現するため、原子表現間のアテンションを計算する新しい mol アテンション機構ブロックを設計した。
• スケルトンおよびクリフデータ分割プロトコルを用いて、最大の現在の LNP データセット上で学習を行い、モデルの頑健性と一般化性能を評価した。
• mol アテンションブロックからのアテンションスコアの分析により、トランスフェクション効率の変化に最も寄与する原子を同定することで、解釈可能性を実現した。
• トレーニング時に見られなかった 15 個の LNP からなるデータセットを用いた外部検証を行い、予測値を報告されたトランスフェクション効率と比較した。

Figure 1: The model takes as input multimodal structural information of ionizable lipids, including three-dimensional structural details: atomic type sequences, three-dimensional coordinates, distance matrices, bond type matrices, and one-dimensional SMILES representation molecular structural inform

実験結果

リサーチクエスチョン

• RQ1 3D 空間的特徴と 1D 逐次的特徴を統合するマルチモーダルな深層学習モデルが、既存のモデルを上回って LNP トランスフェクション効率を予測できるか？
• RQ2 モデル内のアテンション機構は、特にトランスフェクションクリフペアにおいて、顕著なトランスフェクション効率の差を引き起こす特定の原子をどの程度正確に同定できるか？
• RQ3 トレーニングに使用されなかった外部データセット、特に異なる細胞線およびフォーミュレーションにおいて、モデルの一般化性能はどの程度高いか？
• RQ4 微細な構造的変化（例：炭素または窒素原子の1つ変更）が、顕著なトランスフェクション効率の差にどのように反映されるか、またモデルはその変化を検出できるか？

主な発見

• TransMA は、最大の既存 LNP データセット上で、スケルトンおよびクリフデータ分割プロトコルの両方において、AGILE や TransLNP などの先行モデルを上回る最先端の性能を達成した。
• 微調整なしで外部データセットにおいても高い精度を維持し、異なる細胞線およびフォーミュレーションにおいて、予測値が真の値の順序と一貫した順序を保ったままであった。
• トランスフェクションクリフペアにおいて、高いアテンションスコア（例：0.84 および 0.86）を示す原子は、構造的差（1つの C 原子および 1つの N 原子）に対応しており、モデルが効率変化の主因となる原子を正しく同定できていることを確認した。
• クリフペア内の2つの分子間のトランスフェクション差は最大で 10^3.89 倍に達し、TransMA は高い効率を示す分子を正しく予測した。これは、極端な構造的変化に対してもモデルが頑健であることを示している。
• mol アテンション機構により、マルチモーダル特徴の有効な統合が可能となり、合理的な LNP 設計に不可欠な原子レベルの構造-トランスフェクション関係を明らかにした。
• 高い性能を発揮しているものの、データセットの不足と、微細な構造的変更が顕著な効率の変化を引き起こすトランスフェクションクリフの本質的難易度により、予測精度に限界がある。

Figure 2: Left: The architecture of the molecule 3D Transformer adopts a pre-training and fine-tuning approach. The pre-training task involves masked language modeling and noise coordinate prediction. Fine-tuning is conducted using molecular prediction heads for transfection efficiency prediction. R