[論文レビュー] CrossLLM-Mamba: Multimodal State Space Fusion of LLMs for RNA Interaction Prediction

Rabeya Tus Sadia, Qiang Ye+1 more|arXiv (Cornell University)|Feb 23, 2026

RNA and protein synthesis mechanisms被引用数 0

ひとこと要約

CrossLLM-MambaはRNA相互作用予測を双方向状態空間整列タスクとして再定義し、BiMambaエンコーダを介してBioLLM埋め込みの動的クロスモーダル融合を実現。RNA–タンパク質、RNA–小分子、RNA–RNA相互作用で最先端の結果を達成。

ABSTRACT

Accurate prediction of RNA-associated interactions is essential for understanding cellular regulation and advancing drug discovery. While Biological Large Language Models (BioLLMs) such as ESM-2 and RiNALMo provide powerful sequence representations, existing methods rely on static fusion strategies that fail to capture the dynamic, context-dependent nature of molecular binding. We introduce CrossLLM-Mamba, a novel framework that reformulates interaction prediction as a state-space alignment problem. By leveraging bidirectional Mamba encoders, our approach enables deep ``crosstalk'' between modality-specific embeddings through hidden state propagation, modeling interactions as dynamic sequence transitions rather than static feature overlaps. The framework maintains linear computational complexity, making it scalable to high-dimensional BioLLM embeddings. We further incorporate Gaussian noise injection and Focal Loss to enhance robustness against hard-negative samples. Comprehensive experiments across three interaction categories, RNA-protein, RNA-small molecule, and RNA-RNA demonstrate that CrossLLM-Mamba achieves state-of-the-art performance. On the RPI1460 benchmark, our model attains an MCC of 0.892, surpassing the previous best by 5.2\%. For binding affinity prediction, we achieve Pearson correlations exceeding 0.95 on riboswitch and repeat RNA subtypes. These results establish state-space modeling as a powerful paradigm for multi-modal biological interaction prediction.

研究の動機と目的

• 静的融合を超えた動的クロストークのモデリングによるRNA関連相互作用予測の改善を動機づける。
• 双方向状態空間融合フレームワーク（BiMamba）を提案し、モダリティ埋め込み間の継続的情報フローを可能にする。
• 高次元のBioLLM埋め込みに対して計算計量を線形に保つ。
• Gaussianノイズ注入とFocal Lossによる難例・クラス不均衡への頑健性を向上。
• RNA–タンパク質、RNA–RNA、RNA–小分子の3つの相互作用カテゴリにまたがる一般化を実証。

提案手法

• ESM-2でタンパク質、RiNALMoでRNA、MoleBERTで小分子をエンコードしてモダリティ特異的埋め込みを取得。
• 線形射影とガウスノイズを用いて埋め込みを共有潜在空間に射影（X_A = W_A E_A + b_A + N(0, sigma^2), X_B = W_B E_B + b_B + N(0, sigma^2)）。
• 各モダリティに対してBidirectional Mamba（BiMamba）を適用し、前向きと逆向きの文脈を捉えX_encを生成。
• [X_A_enc, X_B_enc]をスタックしてCross-Mamba融合シーケンスを構築し、BiMambaミキサーで相互作用フローをモデル化（S_mixed）。
• グローバル平均プーリングで集約しMLPを通して相互作用確率または親和性を予測；分類にはFocal Loss、親和性にはMSE-ピアソン混合損失を適用。
• 線形計算量のクロスモーダル融合を採用し、クロスアテンションの二次スケーリングを回避。

実験結果

リサーチクエスチョン

• RQ1 BioLLM埋め込みの双方向状態空間融合は、静的融合法よりも動的なRNA相互作用のクロストークをより良く捉えるのか？
• RQ2 BiMambaベースのクロスモーダル融合は高次元BioLLM埋め込みで線形スケーリングを維持しつつ最先端の性能を達成するのか？
• RQ3 CrossLLM-MambaはRNA相互作用データセットにおける難例やクラス不均衡に対してどの程度頑健か？
• RQ4 RNA–タンパク質、RNA–RNA、RNA–小分子の3モダリティ間でフレームワークはどの程度一般化可能か？

主な発見

Method	MCC	ACC	F1	Precision	Recall	AUC–ROC
RPISeq-RF [14]	0.570	0.780	0.780	0.790	0.780	0.790
IPMiner [15,16]	0.520	0.760	0.770	0.720	0.830	0.801
CFRP [3]	0.630	0.810	0.820	0.830	0.780	0.834
RPITER [17]	0.412	0.690	0.510	0.610	0.480	0.720
LPI-CSFFR [6]	0.600	0.830	0.840	0.780	0.910	0.820
RNAincoder [22]	0.760	0.880	0.840	0.810	0.940	0.915
BioLLMNet [1]	0.848	0.923	0.925	0.888	0.966	0.948
CrossLLM-Mamba (Ours)	0.892	0.935	0.933	0.901	0.971	0.957

• RNA–タンパク質相互作用(RPI1460)でCrossLLM-MambaはMCC0.892、ACC0.935を達成し、従来の最良MCC0.848を超えた。
• RPI1460ではF1=0.933、Precision=0.901、Recall=0.971、AUC-ROC=0.957。
• RNA–小分子結合親和性ではリボリスト RNAのボリュームでPearson相関が0.95を超え（リボサウィッチ0.9562、リピート0.9521）。
• RNA–RNAの植物miRNA–lncRNA転送タスクでは、MTR-ATHで最大75%の精度を達成（M. truncatulaで学習、A. thalianaで評価）、6つの転送設定のうち4つでいくつかのベースラインを上回る。
• アブレーション研究ではCross-Mamba融合が結合連結より有意に優れ、双方向性はMCCを2.7%向上、GaussianノイズとFocal Lossは一般化と難例対応を支援。