[논문 리뷰] TransMA: an explainable multi-modal deep learning model for predicting properties of ionizable lipid nanoparticles in mRNA delivery

Kun Wu, Zixu Wang외 5명|arXiv (Cornell University)|2024. 07. 08.

RNA Interference and Gene DeliveryBiochemistry, Genetics and Molecular Biology인용 수 3

한 줄 요약

TransMA는 분자의 3차원 공간적 특징과 1차원 순서적 분자 특징을 각각 분자의 3D 트랜스포머와 분자의 Mamba를 사용하여 융합하는 새로운 설명 가능한 다중모달 딥러닝 모델로, 특징 정렬을 위한 새로운 mol-attention 메커니즘을 도입하여 이온화 가능한 지질 나노입자(LNPs)의 도입 효율을 예측한다. 이 모델은 현재까지 가장 큰 LNP 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 특히 도입 능력 급변 쌍(transfection cliff pairs)에서 효율성 변화의 핵심 원자가 되는 원자를 규명한다.

ABSTRACT

As the primary mRNA delivery vehicles, ionizable lipid nanoparticles (LNPs) exhibit excellent safety, high transfection efficiency, and strong immune response induction. However, the screening process for LNPs is time-consuming and costly. To expedite the identification of high-transfection-efficiency mRNA drug delivery systems, we propose an explainable LNPs transfection efficiency prediction model, called TransMA. TransMA employs a multi-modal molecular structure fusion architecture, wherein the fine-grained atomic spatial relationship extractor named molecule 3D Transformer captures three-dimensional spatial features of the molecule, and the coarse-grained atomic sequence extractor named molecule Mamba captures one-dimensional molecular features. We design the mol-attention mechanism block, enabling it to align coarse and fine-grained atomic features and captures relationships between atomic spatial and sequential structures. TransMA achieves state-of-the-art performance in predicting transfection efficiency using the scaffold and cliff data splitting methods on the current largest LNPs dataset, including Hela and RAW cell lines. Moreover, we find that TransMA captures the relationship between subtle structural changes and significant transfection efficiency variations, providing valuable insights for LNPs design. Additionally, TransMA's predictions on external transfection efficiency data maintain a consistent order with actual transfection efficiencies, demonstrating its robust generalization capability. The code, model and data are made publicly available at https://github.com/wklix/TransMA/tree/master. We hope that high-accuracy transfection prediction models in the future can aid in LNPs design and initial screening, thereby assisting in accelerating the mRNA design process.

연구 동기 및 목표

• 이온화 가능한 지질 나노입자(LNP)의 도입 효율을 정확하고 자동으로 예측할 수 있도록 하여 고효율의 메신저 RNA 도입 시스템을 가속화하는 것.
• 기존 모델의 한계를 해결하기 위해 다중모달 분자 특징—3차원 공간적 특징과 1차원 순서적 표현—을 통합한 유일한 아키텍처를 통합하는 것.
• 특정 원자가 도입 효율 변화에 크게 기여하는 것을 규명함으로써 모델의 해석 가능성을 향상시키는 것, 특히 도입 능력 급변 쌍에서의 변화를 중심으로 한다.
• 다양한 세포계열과 제형에 걸쳐 훈련에 사용되지 않은 외부 데이터셋에서의 예측 성능을 검증함으로써 일반화 능력을 향상시키는 것.

제안 방법

• TransMA는 분자의 3차원 공간적 특징을 정밀하게 추출하기 위해 분자의 3D 트랜스포머를 활용하는 다중모달 분자 구조 융합 아키텍처를 채택한다.
• 일련의 1차원 분자 시퀀스 특징을 캡처하기 위해 분자의 Mamba 모델을 사용한다.
• 원자 표현 간의 주의를 계산하여 3차원 공간적 특징과 1차원 순서적 특징을 정렬하고 융합하는 데 목적이 있는 새로운 mol-attention 메커니즘 블록을 설계한다.
• 모델은 가장 큰 현재의 LNP 데이터셋을 사용하여 훈련되며, 구조적 프레임워크(scaffold)와 급변 쌍(cliff) 데이터 분할 프로토콜을 적용하여 안정성과 일반화 능력을 평가한다.
• mol-attention 블록에서의 주의 점수 분석을 통해 도입 효율 변화에 가장 영향을 미치는 원자를 규명함으로써 모델의 해석 가능성을 확보한다.
• 훈련 중에 볼 수 없었던 15개의 LNP로 구성된 데이터셋을 대상으로 외부 검증을 수행하였으며, 예측 결과를 보고된 도입 효율과 비교하였다.

Figure 1: The model takes as input multimodal structural information of ionizable lipids, including three-dimensional structural details: atomic type sequences, three-dimensional coordinates, distance matrices, bond type matrices, and one-dimensional SMILES representation molecular structural inform

실험 결과

연구 질문

• RQ1 3차원 공간적 특징과 1차원 순서적 분자 특징을 융합하는 다중모달 딥러닝 모델이 기존 모델보다 LNP 도입 효율 예측 성능에서 뛰어나게 되는가?
• RQ2 모델 내 주의 메커니즘이 특히 도입 능력 급변 쌍에서 큰 도입 효율 차이를 유발하는 특정 원자를 어느 정도 정확하게 규명할 수 있는가?
• RQ3 훈련에 사용되지 않은 외부 데이터셋, 특히 다양한 세포계열과 제형에서 일반화 능력이 뛰어나게 되는가?
• RQ4 미세한 구조적 변화—예를 들어 한 개의 탄소 또는 질소 원자 변화—가 도입 효율에 큰 영향을 미치는 경우, 이러한 변화를 모델이 탐지할 수 있는가?

주요 결과

• TransMA는 현재까지 가장 큰 LNP 데이터셋에서 도입 효율 예측 성능에서 최신 기술 수준(SOTA)을 달성하였으며, 구조적 프레임워크(scaffold)와 급변 쌍(cliff) 데이터 분할 프로토콜 모두에서 이전 모델인 AGILE 및 TransLNP를 능가하였다.
• 모델은 훈련에 사용되지 않은 외부 데이터셋에서도 피지컬 튜닝 없이도 높은 정확도를 유지하였으며, 다양한 세포계열과 제형에서 예측 값이 진짜 값과 일관된 순서를 유지하였다.
• 도입 능력 급변 쌍에서 주의 점수가 높은 원자(예: 0.84 및 0.86)는 구조적 차이(탄소 1개와 질소 1개)에 해당하며, 이는 모델이 효율 변화를 이끄는 핵심 원자를 규명할 수 있음을 확인한다.
• 급변 쌍 내의 두 분자의 도입 효율 차이는 최대 10^3.89배에 이르며, TransMA는 높은 효율을 보이는 분자를 정확히 예측하여 극단적인 구조적 변화에 대비한 강건성을 입증하였다.
• mol-attention 메커니즘은 다중모달 특징 융합을 효과적으로 가능하게 하여 원자 수준의 구조-도입 효율 관계를 드러내며, 이는 합리적인 LNP 설계에 핵심적인 정보를 제공한다.
• 높은 성능에도 불구하고, 데이터셋의 부족성과 도입 능력 급변 쌍의 본질적 특성—미세한 구조적 변화가 효율에 큰 영향을 미치는 것—으로 인해 예측 정확도는 여전히 제한되어 있다.

Figure 2: Left: The architecture of the molecule 3D Transformer adopts a pre-training and fine-tuning approach. The pre-training task involves masked language modeling and noise coordinate prediction. Fine-tuning is conducted using molecular prediction heads for transfection efficiency prediction. R