[論文レビュー] Multi-modal Transfer Learning between Biological Foundation Models

Juan Jose Garau-Luis, Patrick Bordes+10 more|arXiv (Cornell University)|Jun 20, 2024

Machine Learning in Bioinformatics被引用数 6

ひとこと要約

IsoFormerは、DNA・RNA・タンパク質のエンコーダーを結びつけて組織間のRNAトランスクリプトアイソフォーム発現を予測する初の多模态モデルであり、モダリティ間で知識を転送することで最先端の成果を達成します。

ABSTRACT

Biological sequences encode fundamental instructions for the building blocks of life, in the form of DNA, RNA, and proteins. Modeling these sequences is key to understand disease mechanisms and is an active research area in computational biology. Recently, Large Language Models have shown great promise in solving certain biological tasks but current approaches are limited to a single sequence modality (DNA, RNA, or protein). Key problems in genomics intrinsically involve multiple modalities, but it remains unclear how to adapt general-purpose sequence models to those cases. In this work we propose a multi-modal model that connects DNA, RNA, and proteins by leveraging information from different pre-trained modality-specific encoders. We demonstrate its capabilities by applying it to the largely unsolved problem of predicting how multiple RNA transcript isoforms originate from the same gene (i.e. same DNA sequence) and map to different transcription expression levels across various human tissues. We show that our model, dubbed IsoFormer, is able to accurately predict differential transcript expression, outperforming existing methods and leveraging the use of multiple modalities. Our framework also achieves efficient transfer knowledge from the encoders pre-training as well as in between modalities. We open-source our model, paving the way for new multi-modal gene expression approaches.

研究の動機と目的

• DNA・RNA・タンパク質配列の多模态統合を動機づけ、相互に関連する生物学的シグナルを捉えることを可能にする。
• 事前学習済みのモダリティ特異的エンコーダを活用する一般的な多模态集約フレームワークを開発する。
• 多模态学習が組織全体でRNAトランスクリプトアイソフォーム発現予測を改善することを示す。
• モダリティ内およびモダリティ間の転移学習の利点を示し、エンコーダの選択を評価する。
• 生物学におけるさらなる多模态シーケンスモデリングを促進するために IsoFormerをオープンソース化する。

提案手法

• DNA・RNA・タンパク質の3つの事前学習済みエンコーダを用いて埋め込みを生成する。
• 残差接続を伴うクロスアテンションベースの集約モジュールを導入し、モダリティ特異的な多模態埋め込みを作成する。
• モダリティごとの多模態埋め込みを結合して下流予測用の単一の h_multi にする。
• MSE損失を用いて組織横断のトランスクリプトアイソフォーム発現を予測するため、IsoFormerヘッドでエンドツーエンドに訓練する。
• 異なるモダリティの組み合わせと集約戦略を比較し、事前学習エンコーダからの転移を評価する。

実験結果

リサーチクエスチョン

• RQ1 3モダリティ（DNA・RNA・タンパク質）エンコーダ枠組みは、単一モダリティモデルよりトランスクリプトアイソフォーム発現予測を改善できるか？
• RQ2 クロスアテンションベースの集約は多模态の生物学的埋め込みを効果的に融合し、エンドツーエンドの訓練を可能にするか？
• RQ3 事前学習済みエンコーダが性能にどの程度寄与するか、モダリティ間転移が有益か？
• RQ4 DNAエンコーダの選択（例：Enformer vs NT）がアイソフォーム予測タスクへの転移にどのように影響するか？

主な発見

Model Input	R^2	Spearman
DNA only	0.13 ± 0.02	0.43 ± 0.01
RNA only	0.36 ± 0.03	0.61 ± 0.01
Protein only	0.20 ± 0.01	0.46 ± 0.01
DNA + Protein	0.28 ± 0.01	0.52 ± 0.01
DNA + RNA	0.39 ± 0.01	0.64 ± 0.01
DNA + RNA + Protein	0.43 ± 0.01	0.65 ± 0.01

• 最も性能の高いモデルは3モダリティ（DNA + RNA + Protein）を用い、R^2 = 0.43 ± 0.01 および Spearman = 0.65 ± 0.01 を達成。
• DNAエンコーダとしてEnformerを使用すると最も強い結果を得る（R^2 = 0.53 ± 0.01, Spearman = 0.72 ± 0.00）IsoFormer。
• このタスクではクロスアテンションに基づく集約戦略が、Perceiver Resampler の派生や C-Abstractor といった代替案を上回る。
• 事前学習済みエンコーダは大幅な利益をもたらし、すべてのエンコーダが事前学習済みの場合 R^2 = 0.53 and Spearman = 0.71、全く事前学習していない場合は R^2 = 0.10 and Spearman = 0.31。
• 転移はモダリティ内（モダリティ内の事前学習）およびモダリティ間（モダリティ間で情報を活用）の双方で観察される。
• Enformer DNAエンコーダを用いたIsoFormerは強力なモダリティ間転移と長距離文脈の利点を示す。