[논문 리뷰] CrossLLM-Mamba: Multimodal State Space Fusion of LLMs for RNA Interaction Prediction

Rabeya Tus Sadia, Qiang Ye외 1명|arXiv (Cornell University)|2026. 02. 23.

RNA and protein synthesis mechanisms인용 수 0

한 줄 요약

CrossLLM-Mamba는 RNA 상호작용 예측을 양방향 상태-공간 정렬 작업으로 재정의하여 BioLLM 임베딩의 동적 교차-모달 융합을 가능하게 하며 BiMamba 인코더를 통해 RNA–단백질, RNA–소분자, RNA–RNA 상호작용 전반에서 최첨단 결과를 달성한다.

ABSTRACT

Accurate prediction of RNA-associated interactions is essential for understanding cellular regulation and advancing drug discovery. While Biological Large Language Models (BioLLMs) such as ESM-2 and RiNALMo provide powerful sequence representations, existing methods rely on static fusion strategies that fail to capture the dynamic, context-dependent nature of molecular binding. We introduce CrossLLM-Mamba, a novel framework that reformulates interaction prediction as a state-space alignment problem. By leveraging bidirectional Mamba encoders, our approach enables deep ``crosstalk'' between modality-specific embeddings through hidden state propagation, modeling interactions as dynamic sequence transitions rather than static feature overlaps. The framework maintains linear computational complexity, making it scalable to high-dimensional BioLLM embeddings. We further incorporate Gaussian noise injection and Focal Loss to enhance robustness against hard-negative samples. Comprehensive experiments across three interaction categories, RNA-protein, RNA-small molecule, and RNA-RNA demonstrate that CrossLLM-Mamba achieves state-of-the-art performance. On the RPI1460 benchmark, our model attains an MCC of 0.892, surpassing the previous best by 5.2\%. For binding affinity prediction, we achieve Pearson correlations exceeding 0.95 on riboswitch and repeat RNA subtypes. These results establish state-space modeling as a powerful paradigm for multi-modal biological interaction prediction.

연구 동기 및 목표

• 모달리티 간의 동적 교차작용을 모델링하여 정적 융합을 넘어 RNA 관련 상호작용 예측의 향상을 유도한다.
• 모달리티 임베딩 간의 연속적 정보 흐름을 가능하게 하는 양방향 상태-공간 융합 프레임워크(BiMamba)를 제안한다.
• 고차원 BioLLM 임베딩에 대해 선형 계산 복잡도를 유지하여 확장성을 확보한다.
• 가우시안 노이즈 주입 및 Focal Loss를 통해-hard negative 및 클래스 불균형에 대한 견고성을 개선한다.
• RNA–단백질, RNA–RNA, RNA–소분자의 세 가지 상호작용 범주에서 일반화 가능성을 입증한다.]
• method([

제안 방법

• proteins는 ESM-2로 인코딩하고, RNA는 RiNALMo로, 소분자는 MoleBERT로 인코딩하여 모달리티별 임베딩을 얻는다.
• 임베딩을 선형 투영과 가우시안 노이즈로 공유 잠재공간에 투영한다( X_A = W_A E_A + b_A + N(0, sigma^2), X_B = W_B E_B + b_B + N(0, sigma^2)).
• 각 모달리티에 대해 Bidirectional Mamba(BiMamba)를 적용하여 순방향 및 역방향 컨텍스트를 포착하고 X_enc를 생성한다.
• [X_A_enc, X_B_enc]를 적층하여 Cross-Mamba 융합 시퀀스를 구성하고 BiMamba 혼합기로 상호작용 흐름(S_mixed)을 모델링한다.
• 글로벌 평균 풀링으로 집계하고 MLP를 통과시켜 상호작용 확률 또는 친화도를 예측한다; 분류에는 Focal Loss를, 친화도에는 MSE-피어슨 합성 손실을 사용한다.
• 선형 복잡도 교차 모달 융합을 채택하여 교차-attention의 제곱 스케일링을 피한다.

실험 결과

연구 질문

• RQ1 BioLLM 임베딩의 양방향 상태-공간 융합이 정적 융합 방법보다 동적 RNA 상호작용 교차작용을 더 잘 포착하는가?
• RQ2 BiMamba 기반의 교차 모달 융합이 고차원 BioLLM 임베딩에서도 선형 확장성을 유지하면서 최첨단 성능을 낼 수 있는가?
• RQ3 RNA 상호작용 데이터셋에서 하드 네거티브 및 클래스 불균형에 CrossLLM-Mamba가 얼마나 강인한가?
• RQ4 RNA–단백질, RNA–RNA, RNA–소분자 상호작용 모달리티 전반에 걸쳐 프레임워크의 일반화 성능은 어느 정도인가?

주요 결과

Method	MCC	ACC	F1	Precision	Recall	AUC–ROC
RPISeq-RF [14]	0.570	0.780	0.780	0.790	0.780	0.790
IPMiner [15,16]	0.520	0.760	0.770	0.720	0.830	0.801
CFRP [3]	0.630	0.810	0.820	0.830	0.780	0.834
RPITER [17]	0.412	0.690	0.510	0.610	0.480	0.720
LPI-CSFFR [6]	0.600	0.830	0.840	0.780	0.910	0.820
RNAincoder [22]	0.760	0.880	0.840	0.810	0.940	0.915
BioLLMNet [1]	0.848	0.923	0.925	0.888	0.966	0.948
CrossLLM-Mamba (Ours)	0.892	0.935	0.933	0.901	0.971	0.957

• RNA–단백질 상호작용(RPI1460)에서 CrossLLM-Mamba는 MCC 0.892 및 ACC 0.935를 달성하여 기존 최고 MCC 0.848를 넘어섰다(BioLLMNet 대비 0.892).
• RPI1460에서 F1 = 0.933, Precision = 0.901, Recall = 0.971, AUC-ROC = 0.957를 달성.
• RNA–소분자 결합 친화도에서 리보스위치(riboswitches)에서 Pearson 상관 0.9562, 반복체에서 0.9521로 0.95를 상회하는 상관을 보였다.
• RNA–RNA 식물 miRNA–lncRNA 전달 과제에서 CrossLLM-Mamba는 MTR-ATH에서 최대 75% 정확도에 도달했으며, 학습은 M. truncatula에서, 테스트는 A. thaliana에서 수행되었고 여섯 번의 전이 설정 중 네 곳에서 일부 벤치마크를 능가했다.
• 변형 연구는 Cross-Mamba 융합이 연결(concatenation)보다 현저히 우수함을, 양방향성이 MCC를 2.7% 포인트 개선함을, 가우시안 노이즈와 Focal Loss가 일반화 및 하드 네거티브 처리에 도움을 주는 것을 보여준다.